[論文レビュー] Applications of Deep Learning in Fish Habitat Monitoring: A Tutorial and Survey

Alzayat Saleh, Marcus Sheaves+2 more|arXiv (Cornell University)|Jun 11, 2022

Water Quality Monitoring Technologies被引用数 4

ひとこと要約

本論文は、水中魚の生息環境モニタリングへの深層学習（DL）の応用について包括的なチュートリアルおよびサーベイを提供する。主な内容には、キーディープラーニング（DL）の概念、段階的なモデル開発プロセス、分類、数え上げ、局所化、セグメンテーションのための最先端技術が含まれる。DLが水中カメラからの視覚的データ分析の手作業を自動化する可能性を示唆する一方で、データ不足、画像品質、海洋環境におけるモデル最適化の課題にも言及している。

ABSTRACT

Marine ecosystems and their fish habitats are becoming increasingly important due to their integral role in providing a valuable food source and conservation outcomes. Due to their remote and difficult to access nature, marine environments and fish habitats are often monitored using underwater cameras. These cameras generate a massive volume of digital data, which cannot be efficiently analysed by current manual processing methods, which involve a human observer. DL is a cutting-edge AI technology that has demonstrated unprecedented performance in analysing visual data. Despite its application to a myriad of domains, its use in underwater fish habitat monitoring remains under explored. In this paper, we provide a tutorial that covers the key concepts of DL, which help the reader grasp a high-level understanding of how DL works. The tutorial also explains a step-by-step procedure on how DL algorithms should be developed for challenging applications such as underwater fish monitoring. In addition, we provide a comprehensive survey of key deep learning techniques for fish habitat monitoring including classification, counting, localization, and segmentation. Furthermore, we survey publicly available underwater fish datasets, and compare various DL techniques in the underwater fish monitoring domains. We also discuss some challenges and opportunities in the emerging field of deep learning for fish habitat processing. This paper is written to serve as a tutorial for marine scientists who would like to grasp a high-level understanding of DL, develop it for their applications by following our step-by-step tutorial, and see how it is evolving to facilitate their research efforts. At the same time, it is suitable for computer scientists who would like to survey state-of-the-art DL-based methodologies for fish habitat monitoring.

研究の動機と目的

• 水中魚の生息環境モニタリングに深層学習を適用するための実用的で段階的なチュートリアルを、海洋科学者およびコンピュータ科学者に提供すること。
• 分類、数え上げ、局所化、およびセマンティックセグメンテーションを含む、魚の画像分析のための最先端の深層学習技術をサーベイおよび比較すること。
• 再現性のある研究およびモデルのベンチマークに役立てるために、公開可能な水中魚のデータセットを収集・レビューすること。
• 視界不良、画像歪み、アノテーションデータの限定性といった、水中モニタリングにおけるDLの導入に伴う主な課題を特定すること。
• 自己教師あり学習、自動魚の形態特徴抽出、低消費電力DLシステムを用いたリアルタイム行動追跡を含む、今後の研究方向性を提示すること。

提案手法

• 畳み込みニューラルネットワーク（CNN）と視覚的特徴学習に適したそのアーキテクチャに焦点を当てた、基礎的な深層学習の概念を紹介する。
• 水中魚のモニタリングタスクに特化したカスタム深層学習モデルを開発するための体系的で段階的なパイプラインを提示する。
• 主な深層学習技術をレビューする：インスタンスセグメンテーション（例：Mask R-CNN）、オブジェクト検出（例：YOLO、Faster R-CNN）、画像分類（例：ResNets）。
• データオーグメンテーション、トランスファー学習、ドロップアウト、正則化などのモデルトレーニング戦略を評価し、小規模またはノイズの多いデータセットでも頑健な性能を実現する。
• DL推論の前段階で入力品質を向上させるために、色補正やノイズ低減などの画像強調技術の統合を提案する。
• 高価な人工作業によるアノテーションに依存するのを減らすために、弱教師あり学習および自己教師あり学習の活用を議論する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして深層学習を体系的に応用し、恒久的または一時的なカメラシステムによって収集された水中魚の生息環境画像の分析を自動化できるか？
• RQ2 視界不良などの厳しい水中環境下で、魚の検出、数え上げ、セグメンテーションといったタスクに最も効果的な深層学習アーキテクチャとトレーニング戦略は何か？
• RQ3 視界不良、色の歪み、ノイズといったデータ品質の問題が、魚のモニタリングにおける深層学習モデルの性能にどのように影響するか？
• RQ4 現在、深層学習モデルのトレーニングおよびベンチマークに利用可能な公開済みのデータセットはどれか？
• RQ5 リアルタイム、低消費電力、高精度な深層学習システムを魚の行動追跡および形態特徴抽出に導入するにあたり、主な課題と今後の研究機会は何か？

主な発見

• 深層学習は、大規模な水中視覚的データの処理において、手作業による分析を著しく上回り、スケーラブルで効率的な魚の生息環境モニタリングを可能にする。
• トランスファー学習とデータオーグメンテーションは、限られたまたはドメイン特化された水中魚のデータセットでも、モデル性能を顕著に向上させる。
• 画像強調技術を深層学習と組み合わせることで、水中の視覚的劣化を緩和し、検出およびセグメンテーションの精度を向上させることができる。
• 現在の公開済みの水中魚モニタリング用データセットは、サイズとアノテーション品質の点で限定されており、モデルの汎化性能にブottleneckをもたらしている。
• 自己教師あり学習および弱教師あり学習の手法は、水中アプリケーションにおける高価な人工作業によるアノテーションに依存するのを減らす可能性を示している。
• リアルタイムで低消費電力な魚の追跡システムは、依然として重要な課題であり、モデル効率化とハードウェア統合の分野でのさらなるイノベーションが求められている。