[논문 리뷰] FathomNet: A global image database for enabling artificial intelligence in the ocean

Kakani Katija, Eric C. Orenstein외 9명|arXiv (Cornell University)|2021. 09. 29.

Underwater Vehicles and Communication Systems인용 수 7

한 줄 요약

FathomNet는 해양 과학에서 인공지능을 가능하게 하기 위해 전문가가 검토한 레이블이 부여된 해양 영상 자료를 표준화하고 집약하는 오픈소스이자 글로벌 접근이 가능한 이미지 데이터베이스입니다. 다양한 해양 자료—동물, 쓰레기, 장비 등을 통합함으로써 애너테이션 부담을 줄이고, 로봇 플랫폼과 통합될 경우 자동화된 해양 모니터링을 위한 AI 모델 훈련을 가속화합니다.

ABSTRACT

The ocean is experiencing unprecedented rapid change, and visually monitoring marine biota at the spatiotemporal scales needed for responsible stewardship is a formidable task. As baselines are sought by the research community, the volume and rate of this required data collection rapidly outpaces our abilities to process and analyze them. Recent advances in machine learning enables fast, sophisticated analysis of visual data, but have had limited success in the ocean due to lack of data standardization, insufficient formatting, and demand for large, labeled datasets. To address this need, we built FathomNet, an open-source image database that standardizes and aggregates expertly curated labeled data. FathomNet has been seeded with existing iconic and non-iconic imagery of marine animals, underwater equipment, debris, and other concepts, and allows for future contributions from distributed data sources. We demonstrate how FathomNet data can be used to train and deploy models on other institutional video to reduce annotation effort, and enable automated tracking of underwater concepts when integrated with robotic vehicles. As FathomNet continues to grow and incorporate more labeled data from the community, we can accelerate the processing of visual data to achieve a healthy and sustainable global ocean.

연구 동기 및 목표

• 해양 환경에서 강력한 AI 모델을 훈련시키기 위해 필수적인 표준화되고 대규모이며 레이블이 부여된 해양 영상 데이터셋의 부족을 해결하기 위해.
• 다양한 출처에서 확보한 기존 해양 영상 자료를 집약하고 정제함으로써 해양 시각 데이터의 스케일링 가능한 자동 분석을 가능하게 하기 위해.
• AI 모델 훈련을 위한 재사용 가능하고 커뮤니티가 확장할 수 있는 데이터셋을 제공함으로써 해양 연구에서 수작업 애너테이션 노력 감소를 위해.
• 자율형 해양 차량 및 로봇 시스템과의 통합을 통해 실시간 자동 추적 기능을 지원하기 위해.
• 다양한 연구 기관이 참여할 수 있도록 분산 기여를 가능하게 하여 글로벌 협업을 촉진하기 위해.

제안 방법

• FathomNet는 여러 기관과 출처에서 확보한 해양 생물, 해양 장비, 쓰레기, 기타 해양 개념의 기존 전문가가 검토한 레이블이 부여된 이미지를 집약합니다.
• 일관된 메타데이터, 레이블 형식 및 분류 체계를 통해 데이터 표준화를 시행하여 다양한 AI 모델 간 상호운용성을 확보합니다.
• 미래에 글로벌 연구 기관과 시민 과학자로부터의 기여를 수용할 수 있도록 모듈식이고 확장 가능한 아키텍처를 채택합니다.
• 사전 훈련된 AI 모델을 FathomNet 데이터셋을 기반으로 훈련시킨 후 기관 전용 비디오 데이터에 대해 미세조정할 수 있도록 전이 학습을 지원합니다.
• 로봇 플랫폼과 통합되어 해양 조사 중 실시간 추론 및 자동 개념 추적을 가능하게 합니다.
• 재현 가능성을 확보하고 커뮤니티 참여를 장려하기 위해 버전 관리 기능이 구현된 오픈액세스 프레임워크(zenodo 및 github에 호스팅)를 사용합니다.

실험 결과

연구 질문

• RQ1 표준화되고 글로벌로 접근 가능한 이미지 데이터베이스는 해양 시각 분석에서 AI 모델의 확장성과 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 FathomNet에서 사전 훈련된 모델을 신규 기관 전용 해양 비디오 데이터셋에 적용할 경우, 애너테이션 시간을 얼마나 줄일 수 있는가?
• RQ3 FathomNet 기반 AI 모델은 자율형 해양 운영 중 해양 생물과 인위적 쓰레기의 실시간 자동 탐지 및 추적을 지원할 수 있는가?
• RQ4 데이터의 다양성과 정제 품질은 FathomNet에서 훈련된 AI 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ5 커뮤니티 기반 기여는 해양 이미지 데이터베이스의 장기적 유용성을 어떻게 유지하고 확장할 수 있는가?

주요 결과

• FathomNet는 다양한 종류의 레이블이 부여된 해양 영상 자료를 성공적으로 집약하고 표준화하였으며, 대표적인 종과 비대표 종, 장비, 환경적 특징을 포함합니다.
• FathomNet 사전 훈련된 모델을 사용한 전이 학습 덕분에 신규 비디오 데이터셋에 대한 수작업 애너테이션 시간을 크게 감소시킬 수 있었습니다.
• FathomNet 훈련된 모델을 로봇 차량과 통합함으로써 현장 시범 운영 중 해양 개념의 자동 실시간 추적 기능을 구현할 수 있었습니다.
• FathomNet의 개방적이고 확장 가능한 설계는 지속적인 커뮤니티 기여를 가능하게 하여 데이터셋의 지속적 성장과 관련성 확보에 기여했습니다.
• 중앙집중식 표준화 자원을 제공함으로써 FathomNet는 해양 모니터링 및 보존을 위한 AI 도구의 개발과 구현을 가속화했습니다.
• 이 데이터셋은 여러 연구 기관에서 채택되어 다양한 해양 연구 응용 분야에서의 유용성과 상호운용성을 입증하였습니다.