[논문 리뷰] FathomNet: A global underwater image training set for enabling artificial intelligence in the ocean

Kakani Katija, Eric C. Orenstein외 7명|arXiv (Cornell University)|2021. 09. 29.

Underwater Acoustics Research참고 문헌 24인용 수 6

한 줄 요약

FathomNet는 MBARI, NOAA 및 National Geographic으로부터 전문가가 검토한 해양 시각 데이터를 통합하는 공개적이고 표준화된 해양 이미지 데이터셋으로, 다양한 해양 관측 플랫폼에서 해양 생물 및 쓰레기의 자동 탐지 및 추적을 위한 기계 학습 모델을 개발하는 데 기여한다. 이 데이터셋은 1,000개의 중수층 및 저면 생물 분류에 대해 100,000개 이상의 국소화 정보를 포함하며, ROV 및 카메라 시스템 데이터에 대해 훈련된 모델이 자동 분석에 성공적으로 적용되었다.

ABSTRACT

Ocean-going platforms are integrating high-resolution camera feeds for observation and navigation, producing a deluge of visual data. The volume and rate of this data collection can rapidly outpace researchers' abilities to process and analyze them. Recent advances in machine learning enable fast, sophisticated analysis of visual data, but have had limited success in the oceanographic world due to lack of dataset standardization, sparse annotation tools, and insufficient formatting and aggregation of existing, expertly curated imagery for use by data scientists. To address this need, we have built FathomNet, a public platform that makes use of existing (and future), expertly curated data. Initial efforts have leveraged MBARI's Video Annotation and Reference System and annotated deep sea video database, which has more than 7M annotations, 1M framegrabs, and 5k terms in the knowledgebase, with additional contributions by National Geographic Society (NGS) and NOAA's Office of Ocean Exploration and Research. FathomNet has over 100k localizations of 1k midwater and benthic classes, and contains iconic and non-iconic views of marine animals, underwater equipment, debris, etc. We will demonstrate how machine learning models trained on FathomNet data can be applied across different institutional video data, (e.g., NGS' Deep Sea Camera System and NOAA's ROV Deep Discoverer), and enable automated acquisition and tracking of midwater animals using MBARI's ROV MiniROV. As FathomNet continues to develop and incorporate more image data from other oceanographic community members, this effort will enable scientists, explorers, policymakers, storytellers, and the public to understand and care for our ocean.

연구 동기 및 목표

• 해양학 분야에서 기계 학습 모델을 훈련시키기 위한 표준화되고 주석이 달린 해양 이미지 데이터셋의 부족을 해결하기 위해.
• MBARI, NOAA 및 National Geographic의 기존 전문가가 검토한 해양 영상 자료를 통합하고 표준화된 플랫폼으로 정리하기 위해.
• FathomNet 데이터셋에 훈련된 AI를 활용해 해양 생물, 장비 및 쓰레기의 자동 탐지 및 추적을 가능하게 하기 위해.
• 연구자, 탐사자 및 정책 결정자들이 확장 가능한 데이터 기반 분석을 통해 해양 생태계를 모니터링할 수 있도록 지원하기 위해.

제안 방법

• MBARI의 비디오 주석 및 기준 시스템을 활용하여 심해 영상 데이터에서 700만 건의 주석, 100만 건의 프레임 그랩, 5,000개의 용어를 추출하고 표준화하였다.
• NOAA의 해양 탐사 및 연구 사무소 및 National Geographic Society의 기여를 통합하여 데이터셋의 다양성과 커버리지 확대를 도모하였다.
• 딥 러닝 프레임워크와의 호환성을 확보하기 위해 표준화된 클래스 레이블, 바운딩 박스 주석 및 메타데이터를 사용해 데이터셋을 체계화하였다.
• FathomNet에서 훈련한 모델을 다양한 플랫폼에 배포하여 이식성을 확보하였으며, MBARI의 MiniROV 및 NOAA의 ROV Deep Discoverer를 포함하였다.
• 향후 해양학 공동체의 기여를 수용할 수 있도록 확장 가능한 플랫폼으로 설계하였다.
• 협업 연구를 지원하기 위해 데이터 탐색, 시각화 및 모델 평가 도구를 제공하였다.

실험 결과

연구 질문

• RQ1 표준화되고 공개 가능한 해양 이미지 데이터셋이 해양 환경에서 AI 모델의 성능 향상과 일반화 능력을 향상시킬 수 있는가?
• RQ2 FathomNet에서 훈련된 모델은 다양한 ROV 및 카메라 시스템에서 중수층 및 저면 해양 생물 종을 얼마나 효과적으로 탐지하고 추적할 수 있는가?
• RQ3 데이터셋의 다양성과 전문가의 주석 처리가 해양 무척추동물, 장비 및 쓰레기 식별 정확도에 얼마나 기여하는가?
• RQ4 FathomNet를 통해 잠재적인 중수층 동물의 실시간 서브머스빌 영상 스트림에서 자동 추적을 가능하게 할 수 있는가?

주요 결과

• FathomNet는 중수층 및 저면 생물 1,000개의 고유한 분류에 대해 100,000건 이상의 국소화 정보를 포함하며, 유명한 종뿐만 아니라 비유명한 해양 생물 및 물체도 포함한다.
• 이 데이터셋은 MBARI의 심해 영상 데이터베이스에서 유래한 700만 건 이상의 주석, 100만 건의 프레임 그랩, 5,000개의 용어를 포함하며, 추가로 NOAA 및 National Geographic의 기여가 포함되었다.
• FathomNet에서 훈련된 기계 학습 모델은 MBARI의 ROV MiniROV를 활용해 중수층 생물의 자동 확보 및 추적을 성공적으로 수행하였다.
• 훈련된 모델는 NGS의 딥 시어 카메라 시스템 및 NOAA의 ROV Deep Discoverer 데이터에서 모두 효과적으로 성능을 발휘하여 기관 간 적용 가능성을 입증하였다.
• 이 플랫폼은 확장 가능한 협업 기반의 데이터 공유 및 모델 개발을 지원하여 해양 AI 연구의 재현성과 영향력을 높였다.
• FathomNet의 표준화된 구조와 전문가 주석 처리 덕분에 데이터 과학자와 해양학자 모두에게 진입 장벽이 크게 감소하였다.