[논문 리뷰] Applications of Deep Learning in Fish Habitat Monitoring: A Tutorial and Survey

Alzayat Saleh, Marcus Sheaves외 2명|arXiv (Cornell University)|2022. 06. 11.

Water Quality Monitoring Technologies인용 수 4

한 줄 요약

이 논문은 심해어류 서식지 모니터링에 딥러닝(DL)을 적용하는 데 있어 종합적인 튜토리얼 및 서베이를 제시한다. 주요 DL 개념, 단계별 모델 개발, 분류, 세기, 국소화, 세분화에 대한 최신 기법을 다루며, 해양 환경에서의 데이터 부족, 이미지 품질, 모델 최적화 등의 과제를 다루면서도, 수중 카메라에서 수집하는 시각 데이터 분석의 노동 집약적인 과정을 자동화할 잠재력을 강조한다.

ABSTRACT

Marine ecosystems and their fish habitats are becoming increasingly important due to their integral role in providing a valuable food source and conservation outcomes. Due to their remote and difficult to access nature, marine environments and fish habitats are often monitored using underwater cameras. These cameras generate a massive volume of digital data, which cannot be efficiently analysed by current manual processing methods, which involve a human observer. DL is a cutting-edge AI technology that has demonstrated unprecedented performance in analysing visual data. Despite its application to a myriad of domains, its use in underwater fish habitat monitoring remains under explored. In this paper, we provide a tutorial that covers the key concepts of DL, which help the reader grasp a high-level understanding of how DL works. The tutorial also explains a step-by-step procedure on how DL algorithms should be developed for challenging applications such as underwater fish monitoring. In addition, we provide a comprehensive survey of key deep learning techniques for fish habitat monitoring including classification, counting, localization, and segmentation. Furthermore, we survey publicly available underwater fish datasets, and compare various DL techniques in the underwater fish monitoring domains. We also discuss some challenges and opportunities in the emerging field of deep learning for fish habitat processing. This paper is written to serve as a tutorial for marine scientists who would like to grasp a high-level understanding of DL, develop it for their applications by following our step-by-step tutorial, and see how it is evolving to facilitate their research efforts. At the same time, it is suitable for computer scientists who would like to survey state-of-the-art DL-based methodologies for fish habitat monitoring.

연구 동기 및 목표

• 해양 과학자들과 컴퓨터 과학자들에게 수중 어류 서식지 모니터링에 딥러닝을 적용하는 데 실용적이고 단계별로 진행되는 튜토리얼을 제공하기 위해.
• 수중 어류 영상 분석을 위한 분류, 세기, 국소화, 의미 세분화 등의 작업에 대해 최신 딥러닝 기법들을 서베이하고 비교하기 위해.
• 재현 가능한 연구와 모델 벤치마킹을 지원하기 위해 공개된 수중 어류 데이터셋을 정리하고 검토하기 위해.
• 저조도, 이미지 왜곡, 레이블이 부족한 데이터 등의 문제로 인해 딥러닝을 수중 모니터링에 구현할 때 발생하는 주요 과제를 특정하기 위해.
• 자기지도 학습, 자동 어류 형질 측정, 저전력 딥러닝 시스템을 활용한 실시간 행동 추적과 같은 향후 연구 방향을 제시하기 위해.

제안 방법

• 시각적 특징 학습을 위한 컨볼루션 신경망(CNN)과 그 아키텍처에 중점을 두어 기초적인 딥러닝 개념을 소개한다.
• 수중 어류 모니터링 작업에 맞게 맞춤형 딥러닝 모델을 개발하기 위한 체계적이고 단계적인 파이프라인을 제시한다.
• 핵심 딥러닝 기법을 검토한다: 인스턴스 세분화(Mask R-CNN 등), 객체 탐지(예: YOLO, Faster R-CNN), 이미지 분류(예: ResNets).
• 작은 또는 노이즈가 많은 데이터셋에서의 강건성 향상을 위해 데이터 증강, 전이 학습, 드롭아웃, 정규화 등의 모델 훈련 전략을 평가한다.
• 딥러닝 추론 이전에 입력 품질을 향상시키기 위해 이미지 향상 기법(예: 색상 보정, 노이즈 제거)의 통합을 제안한다.
• 비용이 많이 드는 인간 레이블링 데이터에 대한 의존도를 줄이기 위해 약한 지도 학습 및 자기지도 학습의 활용을 논의한다.

실험 결과

연구 질문

• RQ1 지속적 또는 일시적인 카메라 시스템을 통해 수집된 수중 어류 서식지 영상 분석을 자동화하기 위해 딥러닝을 체계적으로 적용하는 방법은 무엇인가?
• RQ2 어려운 수중 조건에서 어류 탐지, 세기, 세분화 등의 작업에 대해 가장 효과적인 딥러닝 아키텍처와 훈련 전략은 무엇인가?
• RQ3 저조도, 색상 왜곡, 노이즈 등의 데이터 품질 문제는 어류 모니터링에서 딥러닝 모델의 성능에 어떤 영향을 미치는가?
• RQ4 현재 공개된 수중 어류 모니터링을 위한 모델 훈련 및 벤치마킹에 사용 가능한 데이터셋은 무엇이 있는가?
• RQ5 어류 행동 추적 및 형질 측정을 위한 실시간, 저전력, 정확도가 높은 딥러닝 시스템을 구현할 때의 주요 과제와 향후 연구 기회는 무엇인가?

주요 결과

• 딥러닝은 대량의 수중 시각 데이터를 처리하는 데 있어 수작업 분석보다 뛰어난 성능을 보이며, 확장 가능하고 효율적인 어류 서식지 모니터링을 가능하게 한다.
• 전이 학습과 데이터 증강은 제한된 또는 도메인 특화된 수중 어류 데이터셋에서 모델 성능을 크게 향상시킨다.
• 딥러닝과 함께 이미지 향상 기법을 적용하면 수중 시각 왜곡을 완화함으로써 탐지 및 세분화 정확도를 향상시킬 수 있다.
• 현재 공개된 수중 어류 모니터링 데이터셋은 크기와 레이블 품질 측면에서 제한되어 있어 모델 일반화에 걸림돌이 되고 있다.
• 자기지도 학습 및 약한 지도 학습 기법은 수중 응용 분야에서 비용이 많이 드는 인간 레이블링 데이터에 대한 의존도를 줄이는 데 있어 잠재력을 보이고 있다.
• 실시간, 저전력 어류 추적 시스템은 여전히 주요 과제로 남아 있으며, 모델 효율성 향상과 하드웨어 통합 분야에서의 추가 혁신이 필요하다.