[논문 리뷰] The Fishnet Open Images Database: A Dataset for Fish Detection and Fine-Grained Categorization in Fisheries

Justin Kay, Matt Merrifield|arXiv (Cornell University)|2021. 06. 16.

Water Quality Monitoring Technologies참고 문헌 27인용 수 13

한 줄 요약

Fishnet Open Images Database는 상업적 장구어선의 전자 모니터링 시스템에서 촬영한 86,029장의 이미지를 포함한 대규모 공개 데이터셋으로, 34종의 어류와 감지 및 미세 분류를 위한 바운딩 박스 레이블이 포함되어 있다. 이 데이터셋은 장꼬리 분포, 종 간 시각적 유사성, 혹독한 환경 조건 등 도전 과제를 내포하고 있으며, 최신 기술 기반의 모델이 감지 및 분류 작업에서 중간 수준의 성능을 기록함으로써 어업 모니터링 분야의 컴퓨터 비전 기술 발전을 위한 기준 데이터셋으로 기능한다.

ABSTRACT

Camera-based electronic monitoring (EM) systems are increasingly being deployed onboard commercial fishing vessels to collect essential data for fisheries management and regulation. These systems generate large quantities of video data which must be reviewed on land by human experts. Computer vision can assist this process by automatically detecting and classifying fish species, however the lack of existing public data in this domain has hindered progress. To address this, we present the Fishnet Open Images Database, a large dataset of EM imagery for fish detection and fine-grained categorization onboard commercial fishing vessels. The dataset consists of 86,029 images containing 34 object classes, making it the largest and most diverse public dataset of fisheries EM imagery to-date. It includes many of the characteristic challenges of EM data: visual similarity between species, skewed class distributions, harsh weather conditions, and chaotic crew activity. We evaluate the performance of existing detection and classification algorithms and demonstrate that the dataset can serve as a challenging benchmark for development of computer vision algorithms in fisheries. The dataset is available at https://www.fishnet.ai/.

연구 동기 및 목표

• 상업 어업에서 어류 감지 및 분류를 위한 공개 가능하고 대규모인 전자 모니터링(EM) 영상의 부족을 해결하기 위해.
• 어질라 유사성, 장꼬리 분포, 저조도 조건 등 실생활 도전 과제를 반영한 벤치마크 데이터셋을 구축하기 위해.
• 어업 환경에서의 미세 분류, 도메인 적응, 어려운 환경 및 운영 조건 하에서의 객체 감지 연구를 가능하게 하기 위해.
• 수작업 검토에 의존하는 것에서 벗어나 EM 영상 데이터의 스케일러블하고 자동화된 분석을 지원함으로써 어업 관리 개선을 위해.

제안 방법

• 데이터셋은 태평양 서부 및 중부 지역의 장구어선 73척에서 운영 중인 전자 모니터링 카메라에서 확보되었으며, 타임스탬프 기반으로 영상 세그먼트를 추출하고 어종 수준의 레이블을 부여하였다.
• 이미지는 1초 간격으로 샘플링되었으며, 전문 애너테이터(회사 Sama)가 바운딩 박스를 레이블링하였고, 다수의 어류가 포함된 이미지의 경우 이미지 수준의 레이블 오류를 수정하기 위해 수동 검토가 실시되었다.
• 개인식별 정보가 포함되지 않도록 데이터셋을 정제하였으며, 인간 얼굴의 흐림 처리 및 선박 고유 식별자 제거 조치를 취하였다.
• 34개의 객체 클래스에 걸쳐 총 86,029장의 이미지와 406,463개의 바운딩 박스를 포함하며, 미세 분류를 위해 계층적 수준(L1 및 L2)으로 레이블을 구성하였다.
• 객체 감지에 대해 YOLOv5와 Faster R-CNN 모델, 분류에 대해 Inception-V3 모델을 사용하여 벤치마킹을 수행하였으며, 볼 수 있는 카메라 대비 볼 수 없는 카메라 및 참치 대비 비참치 서브셋에서 평가하였다.
• 분류 학습 동안 랜덤 수평 반전, 회전, 줌, 조명/대비 조정 등의 데이터 증강 기법을 적용하였다.

실험 결과

연구 질문

• RQ1 장꼬리 분포와 도전적인 시각 조건을 가진 실생활 어업 EM 데이터셋에서 기존 객체 감지 모델의 성능은 어떠한가?
• RQ2 특히, 이전에 본 적이 없는 카메라에서 테스트할 경우 도메인 이탈(도메인 이동)이 어업 EM 영상의 감지 및 분류 성능에 어떤 영향을 미치는가?
• RQ3 어업 EM 데이터의 맥락에서, 미세 분류의 어려움은 객체 정위치의 어려움보다 더 큰가?
• RQ4 레이블의 세분성(L1 대비 L2)은 희귀 종과 공통 종의 감지 및 분류 성능에 어떤 영향을 미치는가?
• RQ5 이 데이터셋으로 학습된 모델는 새로운 환경으로 일반화 가능한가? 강력한 도메인 적응을 달성하기 위한 주요 과제는 무엇인가?

주요 결과

• 최신 기술 기반 감지 모델은 L1 레이블 세트에서 평균 정밀도(mAP) 0.355, L2 레이블 세트에서 0.378를 기록하여 종 간 시각적 유사성이 높은 어려운 데이터셋에서 중간 수준의 성능을 보였다.
• 더 조잡한 레이블(L2)로 학습한 모델가 더 나은 성능을 보였으며, 이는 레이블의 세분성이 모델 일반화에 영향을 미친다는 것을 시사한다.
• 이전에 본 적이 없는 카메라에서 성능이 크게 떨어졌으며, 특히 감지 작업에서 강한 도메인 이탈 영향이 나타났다.
• 분류 모델은 L1 세트에서 상위-1 정확도 81.2%, L2 세트에서 82.1%를 기록하였고, 참치 종보다 비참치 종의 성능이 7% 이상 낮아 장꼬리 분포 문제를 강조하였다.
• 1종 및 2종 레이블 세트로 학습한 모델가 다수 종 레이블 세트로 학습한 모델보다 더 나은 일반화 성능를 보였으며, 이는 도메인 적응 맥락에서 분류가 정위치보다 더 큰 과제임을 시사한다.
• 이 데이터셋은 특히 도메인 이탈 상황에서, 감지 성능의 주요 제약 요소가 정위치의 어려움보다 분류의 어려움임을 드러냈다.