[논문 리뷰] FathomNet: An underwater image training database for ocean exploration and discovery

Océane Boulais, Ben Woodward외 5명|arXiv (Cornell University)|2020. 06. 30.

Underwater Vehicles and Communication Systems참고 문헌 12인용 수 13

한 줄 요약

FathomNet는 해양 탐사 자동화를 위한 딥러닝을 가속화하기 위해 233개 클래스에 걸쳐 80,000장 이상의 이미지와 106,000개의 로컬라이제이션을 포함하는 대규모 전문가가 주석 처리한 수중 이미지 데이터베이스를 제안한다. 이는 객체 검출, 분류, 약한 감독 기반 로컬라이제이션을 가능하게 하며, 일반화 및 분포 외 신뢰도 향상을 위해 더 큰 데이터가 필요하나, 유망한 성과를 보여준다.

ABSTRACT

Thousands of hours of marine video data are collected annually from remotely operated vehicles (ROVs) and other underwater assets. However, current manual methods of analysis impede the full utilization of collected data for real time algorithms for ROV and large biodiversity analyses. FathomNet is a novel baseline image training set, optimized to accelerate development of modern, intelligent, and automated analysis of underwater imagery. Our seed data set consists of an expertly annotated and continuously maintained database with more than 26,000 hours of videotape, 6.8 million annotations, and 4,349 terms in the knowledge base. FathomNet leverages this data set by providing imagery, localizations, and class labels of underwater concepts in order to enable machine learning algorithm development. To date, there are more than 80,000 images and 106,000 localizations for 233 different classes, including midwater and benthic organisms. Our experiments consisted of training various deep learning algorithms with approaches to address weakly supervised localization, image labeling, object detection and classification which prove to be promising. While we find quality results on prediction for this new dataset, our results indicate that we are ultimately in need of a larger data set for ocean exploration.

연구 동기 및 목표

• 수중 영상 분석의 주요 장애 요소인 수동 영상 검토 문제를 해결하기 위해, 확장 가능한 전문가 주석 처리 훈련 데이터셋을 수중 영상에 적용한다.
• 실시간 객체 검출, 분류, 로컬라이제이션을 위한 딥러닝 모델 개발을 가속화하기 위해 노력한다.
• 표준화되고 지속적으로 유지되는 데이터셋과 풍부한 의미 주석을 제공함으로써, ROV 및 잠수정 영상 데이터의 자동 분석을 가능하게 한다.
• 다양한 생물다양성 분석의 확장성과 정확도 향상을 위해 계층적 및 다중 레이블 주석 처리 워크플로우를 지원한다.
• 오픈 데이터 공유 및 저비용 기술 통합을 통해, 특히 소외된 글로벌 공동체에 해양학적 데이터와 도구에 대한 접근성을 보편화한다.

제안 방법

• ROV 영상 약 26,000시간에서 데이터셋을 구축하였으며, VARS 시스템을 사용해 이미지 수준 레이블과 바운딩 박스를 포함한 프레임 스크래치를 추출하고 주석 처리하였다.
• 주석 빈도를 기반으로 상위 18개의 중수층 및 17개의 벤식 세균류에 더해 3개의 지질학적 특징을 선정하여 FathomNet의 핵심 클래스를 구성하였다.
• 약한 감독 기반 로컬라이제이션 기법을 활용해 초도 바운딩 박스 제안을 생성한 후, 전문가의 수동 검증 및 수정을 통해 주석 처리 효율성을 향상시켰다.
• 일반화 성능 향상과 데이터 이동, 척도 변화에 대한 저항성을 확보하기 위해, 표준 CNN 기반 아키텍처를 사용해 딥러닝 모델을 훈련시켰다.
• 계층적 레이블링 전략을 개발하여, 거시적 분류 수준에서 출발해 소수의 예제 학습 기반으로 세분화된 분류로 점진적으로 향상되는 다단계 모델을 가능하게 하였다.
• 분할 마스크 및 다중 레이블 주석 처리를 향한 향후 확장 방향으로 탐색하였으며, 개체 및 의미 분할 작업을 지원한다.

실험 결과

연구 질문

• RQ1 대규모 전문가 주석 처리 수중 이미지 데이터셋이 자동 객체 검출 및 분류 모델 개발을 크게 가속화할 수 있는가?
• RQ2 약한 감독 기반 로컬라이제이션 기법은 해양 생물의 검출 정확도를 유지하면서도 주석 처리 시간을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 실제 ROV 배치에서 척도, 시점, 배경 변화 등 데이터 이동 상황에서 현재 데이터셋이 얼마나 잘 일반화되는가?
• RQ4 계층적 및 소수의 예제 학습 기반 접근법은 희귀 또는 새로 발견된 해양 생물의 분류 주석 처리의 확장성 향상에 얼마나 기여하는가?
• RQ5 고해상도 해양 영상 및 메타데이터를 공개함으로써 해양 보존에 어떤 영향을 미치며, 악용을 방지하기 위한 조치는 무엇인가?

주요 결과

• FathomNet는 중수층 및 저수층 생물를 포함해 총 233개의 고유한 클래스에 걸쳐 80,000장 이상의 이미지와 106,000개의 로컬라이제이션을 포함하며, 기반 VARS 지식 기반에는 680만 개 이상의 주석이 존재한다.
• 딥러닝 모델 실험을 통해 객체 검출, 분류, 약한 감독 기반 로컬라이제이션에서 높은 성능을 입증하여, 이 데이터셋이 기준 기반으로서의 유용성을 입증하였다.
• 강력한 初기 결과에도 불구하고, 현재 데이터 양은 분포 이동 및 분포 외 일반화 문제를 완전히 해결하기에 부족함을 확인하였으며, 더 대규모 데이터가 필요함을 시사하였다.
• 계층적 주석 처리 및 소수의 예제 학습 기법을 활용할 경우, 특히 희귀 또는 새로 발견된 종의 주석 처리 속도 향상 잠재력이 확인되었다.
• 분할 및 다중 레이블 주석 처리 워크플로우는 향후 필수적인 단계로 지목되었으나, 이러한 작업을 위한 데이터 수집이 여전히 주요 장애물로 남아 있다.
• 이 프로젝트는 불법 어업 등의 악용을 방지하기 위해 메타데이터 정제의 중요성을 부각하였으며, 해양 연구의 개방성과 세계적 형평성을 증진시키는 데 기여한다.