[論文レビュー] Computer Vision and Deep Learning for Fish Classification in Underwater Habitats: A Survey

Alzayat Saleh, Marcus Sheaves+1 more|arXiv (Cornell University)|Mar 14, 2022

Water Quality Monitoring Technologies参考文献 143被引用数 111

ひとこと要約

2003年から2021年までの水下魚類分類におけるコンピュータビジョンとディープラーニングのアプローチを統合したサーベイであり、CNNベースの手法、視界不良やクラスの類似性といった課題、トランスファーラーニングのソリューションを分析している。最新の技術について包括的な概要を提供し、主な制限要因を特定し、自動化された海洋モニタリングのための今後の研究方向性を提示している。

ABSTRACT

Marine scientists use remote underwater video recording to survey fish species in their natural habitats. This helps them understand and predict how fish respond to climate change, habitat degradation, and fishing pressure. This information is essential for developing sustainable fisheries for human consumption, and for preserving the environment. However, the enormous volume of collected videos makes extracting useful information a daunting and time-consuming task for a human. A promising method to address this problem is the cutting-edge Deep Learning (DL) technology.DL can help marine scientists parse large volumes of video promptly and efficiently, unlocking niche information that cannot be obtained using conventional manual monitoring methods. In this paper, we provide an overview of the key concepts of DL, while presenting a survey of literature on fish habitat monitoring with a focus on underwater fish classification. We also discuss the main challenges faced when developing DL for underwater image processing and propose approaches to address them. Finally, we provide insights into the marine habitat monitoring research domain and shed light on what the future of DL for underwater image processing may hold. This paper aims to inform a wide range of readers from marine scientists who would like to apply DL in their research to computer scientists who would like to survey state-of-the-art DL-based underwater fish habitat monitoring literature.

研究の動機と目的

• 水下ビデオデータの膨大な量に伴い、海洋生態系における自動的でスケーラブルな魚類モニタリングのニーズが高まっていることに対応する。
• 視界不良、種の類似性、隠蔽、ごみだらけの背景といった、水下魚類分類における主な課題を特定し、分析する。
• 特に畳み込みニューラルネットワーク（CNN）とトランスファーラーニングを含む最新のディープラーニング技術を、水下環境における魚種識別に応用した手法をサーベイおよび統合する。
• 海洋科学におけるディープラーニングの活用が不十分であることに注目し、生態モニタリングシステムへの統合を提唱する。
• 海洋科学者や生態学者が持つ実用的で高水準のディープラーニングの概念と応用についてのガイドを提供し、持続可能な漁業と保護活動を支援する。

提案手法

• 2003年から2021年までの、コンピュータビジョンおよびディープラーニングを用いた魚類分類に関する学術論文を系統的レビューした。
• 画像および動画ベースの魚類認識に特化した主要なディープラーニングアーキテクチャ、特に畳み込みニューラルネットワーク（CNN）を分類・分析した。
• データ不足を補うために、事前学習済みモデル（例：ImageNet）を水下魚類データセットに微調整するトランスファーラーニング戦略を評価した。
• ドメインシフトへの対処法として、データオーグメンテーション、ドメイン適応、自己教師あり学習の技術をレビューした。
• 複雑なシーンにおける正確な魚類の局所化および数え上げに役立つインスタンスセグメンテーションモデル（例：FCN、U-Netの変種）を議論した。
• 研究間で比較可能なモデル性能、データセットの特徴、評価指標に関する統合的知見を提示した。

実験結果

リサーチクエスチョン

• RQ1 水下環境における魚類分類に最も効果的なディープラーニングアーキテクチャは何か？ また、従来のコンピュータビジョン手法と比べてどのように異なるか？
• RQ2 ディープラーニングを水下魚類モニタリングに適用する際の主な技術的および環境的課題は何か？ それらはどのように軽減できるか？
• RQ3 限られた水下魚類データセットで学習を行う場合、トランスファーラーニングは性能をどのように向上させるか？
• RQ4 自己教師あり学習および弱教師あり学習は、水下魚類分類におけるアノテーションコストを低減するために果たす役割は何か？
• RQ5 大規模な海洋生息地モニタリングにディープラーニングを導入するにあたり、主なギャップと今後の研究方向性は何か？

主な発見

• 特にCNNを用いたディープラーニングモデルは、視界不良や厳しい水下環境下でも、従来のコンピュータビジョン手法に比べ、分類精度と耐性の面で顕著に優れている。
• 事前学習済みモデル（例：ResNet、DenseNet）を用いたトランスファーラーニングにより、限られたアノテーション付き水下魚類データでも高い性能が得られ、学習時間とデータ要件が削減される。
• 色のずれ、ランダムクロッピング、mixupなどのデータオーグメンテーション技術は、視界不良や照明状態の変動が激しい水下環境でも、モデルの汎化性能を向上させる。
• マスクR-CNNやU-Netの変種といったインスタンスセグメンテーションモデルは、混雑しているか隠蔽されている状況でも、個々の魚類の検出および数え上げにおいて高い正確性を達成している。
• 自己教師あり学習および不確実性正則化付き学習アプローチは、大規模なアノテーション付きデータセットへの依存を減らし、実世界の展開におけるモデルの耐性を高める可能性を示している。
• 進展は見られたが、多様な海洋生息地におけるモデルの汎化性、外観が類似した種、動的な水下の照度および水の濁り状態といった課題は依然として残っている。