[논문 리뷰] Computer Vision and Deep Learning for Fish Classification in Underwater Habitats: A Survey

Alzayat Saleh, Marcus Sheaves외 1명|arXiv (Cornell University)|2022. 03. 14.

Water Quality Monitoring Technologies참고 문헌 143인용 수 111

한 줄 요약

이 종합 검토는 2003년에서 2021년까지 수중 어류 분류를 위한 컴퓨터 비전과 딥러닝 기법을 종합적으로 분석하며, CNN 기반 방법, 낮은 시야율과 유사한 종 간의 유사성 등의 과제, 그리고 전이 학습 솔루션을 다룹니다. 최신 기술에 대한 종합적인 개요를 제공하고 핵심적 한계를 규명하며, 자동화된 해양 모니터링을 위한 향후 연구 방향을 제시합니다.

ABSTRACT

Marine scientists use remote underwater video recording to survey fish species in their natural habitats. This helps them understand and predict how fish respond to climate change, habitat degradation, and fishing pressure. This information is essential for developing sustainable fisheries for human consumption, and for preserving the environment. However, the enormous volume of collected videos makes extracting useful information a daunting and time-consuming task for a human. A promising method to address this problem is the cutting-edge Deep Learning (DL) technology.DL can help marine scientists parse large volumes of video promptly and efficiently, unlocking niche information that cannot be obtained using conventional manual monitoring methods. In this paper, we provide an overview of the key concepts of DL, while presenting a survey of literature on fish habitat monitoring with a focus on underwater fish classification. We also discuss the main challenges faced when developing DL for underwater image processing and propose approaches to address them. Finally, we provide insights into the marine habitat monitoring research domain and shed light on what the future of DL for underwater image processing may hold. This paper aims to inform a wide range of readers from marine scientists who would like to apply DL in their research to computer scientists who would like to survey state-of-the-art DL-based underwater fish habitat monitoring literature.

연구 동기 및 목표

• 수중 영상 데이터의 막대한 양으로 인해 해양 생태계에서 자동화되고 확장 가능한 어류 모니터링의 증가하는 필요성을 해결합니다.
• 낮은 수중 시야율, 높은 종 간 유사성, 음영, 혼잡한 배경 등 수중 어류 분류의 주요 과제를 식별하고 분석합니다.
• 특히 CNN과 전이 학습을 포함한 최신 딥러닝 기법들을 수중 환경에서 어류 종 식별에 적용한 사례를 조사하고 종합합니다.
• 해양 과학 분야에서 딥러닝의 활용이 부족한 점을 강조하고 생태계 모니터링 시스템에 통합할 것을 주장합니다.
• 해양 과학자와 생태학자들이 지속 가능한 어업 및 보존 활동을 지원할 수 있도록 딥러닝 개념과 응용에 대한 실용적이고 고수준의 가이드를 제공합니다.

제안 방법

• 2003년에서 2021년까지 컴퓨터 비전과 딥러닝을 활용한 어류 분류에 관한 동료 심사 논문을 체계적으로 검토했습니다.
• 이미지 및 영상 기반 어류 식별을 위한 주요 딥러닝 아키텍처, 특히 컨볼루션 신경망(CNNs)을 분류하고 분석했습니다.
• 데이터 부족 문제를 해결하기 위해 사전 학습된 모델(예: ImageNet)을 수중 어류 데이터셋에 맞추어 미세조정하는 전이 학습 전략을 평가했습니다.
• 데이터 증강, 도메인 적응, 자기지도 학습 등을 포함한 도메인 이탈 문제 해결 기법을 검토했습니다.
• 복잡한 환경에서 정확한 어류 위치 특정 및 수량 세는 데에 효과적인 인스턴스 및 세그멘테이션 모델(예: FCNs, U-Net 변종)을 논의했습니다.
• 다양한 연구에서의 모델 성능, 데이터셋 특성, 평가 지표를 종합적으로 분석했습니다.

실험 결과

연구 질문

• RQ1 수중 환경에서 어류 분류에 가장 효과적인 딥러닝 아키텍처는 무엇이며, 전통적인 컴퓨터 비전 방법과 비교해 어떻게 다릅니까?
• RQ2 딥러닝을 수중 어류 모니터링에 적용할 때 발생하는 주요 기술적 및 환경적 과제는 무엇이며, 이를 어떻게 완화할 수 있습니까?
• RQ3 제한된 수중 어류 데이터셋에서 학습할 때 전이 학습은 성능을 어떻게 향상시킵니까?
• RQ4 자기지도 학습 및 약한 지도 학습은 수중 어류 분류에서 레이블링 비용을 줄이는 데 어떤 역할을 합니까?
• RQ5 대규모 해양 서식지 모니터링에 딥러닝을 구현하기 위한 주요 격차와 향후 연구 방향은 무엇입니까?

주요 결과

• 특히 CNN 기반 딥러닝 모델은 낮은 시야율과 다양한 조건에서의 어려운 수중 환경에서도 전통적인 컴퓨터 비전 방법에 비해 분류 정확도와 강인성 면에서 뛰어나게 성능을 발휘합니다.
• 사전 학습된 모델(예: ResNet, DenseNet)을 활용한 전이 학습은 제한된 레이블이 부여된 수중 어류 데이터로도 높은 성능을 달성할 수 있게 하여 학습 시간과 데이터 요구량을 줄입니다.
• 색상 왜곡, 무작위 자르기, mixup 등의 데이터 증강 기법은 저조도 및 조명 변화가 심한 수중 환경에서 모델의 일반화 능력을 향상시킵니다.
• Mask R-CNN 및 U-Net 변종과 같은 인스턴스 세그멘테이션 모델은 혼잡하거나 가림이 있는 장면에서도 개별 어류의 탐지 및 수량 세는 데 높은 정확도를 달성합니다.
• 자기지도 학습 및 불확실성 정규화 학습 접근법은 대규모 레이블이 부여된 데이터셋에 대한 의존도를 줄이고 실제 현장 적용에서 모델의 강인성을 향상시키는 데 잠재력이 있습니다.
• 진전이 있었음에도 불구하고, 다양한 해양 서식지 간의 모델 일반화, 높은 형태학적 유사성의 종, 그리고 변화하는 수중 조명 및 탁도 조건에서의 과제는 여전히 남아 있습니다.