[論文レビュー] Underwater Object Detection in the Era of Artificial Intelligence: Current, Challenge, and Future

Long Chen, Yuzhi Huang+6 more|arXiv (Cornell University)|Oct 8, 2024

Water Quality Monitoring Technologies被引用数 4

ひとこと要約

本サーベイは、学習戦略、データセット、特徴量、学習段階に基づいて、深層学習および従来の機械学習手法に分類された、AIベースの水中オブジェクト検出（UOD）の包括的分析を提供する。画像の劣化、小さなオブジェクト、ノイズの多いラベル、クラスの不均衡といった主な課題を特定し、標準化されたベンチマークと2つの新規分析ツール（Diagnosis および TIDE）を用いて最先端の検出器を評価し、今後の研究に役立つインサイトを提供する。

ABSTRACT

Underwater object detection (UOD), aiming to identify and localise the objects in underwater images or videos, presents significant challenges due to the optical distortion, water turbidity, and changing illumination in underwater scenes. In recent years, artificial intelligence (AI) based methods, especially deep learning methods, have shown promising performance in UOD. To further facilitate future advancements, we comprehensively study AI-based UOD. In this survey, we first categorise existing algorithms into traditional machine learning-based methods and deep learning-based methods, and summarise them by considering learning strategy, experimental dataset, utilised features or frameworks, and learning stage. Next, we discuss the potential challenges and suggest possible solutions and new directions. We also perform both quantitative and qualitative evaluations of mainstream algorithms across multiple benchmark datasets by considering the diverse and biased experimental setups. Finally, we introduce two off-the-shelf detection analysis tools, Diagnosis and TIDE, which well-examine the effects of object characteristics and various types of errors on detectors. These tools help identify the strengths and weaknesses of detectors, providing insigts for further improvement. The source codes, trained models, utilised datasets, detection results, and detection analysis tools are public available at \url{https://github.com/LongChenCV/UODReview}, and will be regularly updated.

研究の動機と目的

• 従来の機械学習および深層学習アプローチを含む、既存のAIベースの水中オブジェクト検出手法を体系的に分類・分析すること。
• 画像の劣化、小さなオブジェクト検出、ノイズの多いラベル、クラスの不均衡といったUODにおける主な課題を特定し、それらを議論すること。
• 定量的および定性的な分析を用いて、複数のベンチマークデータセット上で主流の検出フレームワークを評価すること。
• オブジェクトの特性と誤差の種類に基づいて検出器の弱みを診断するための、2つの検出分析ツール（Diagnosis および TIDE）の導入と有効性の実証。
• ソースコード、モデル、データセット、結果を含む、公開され定期的に更新されるリポジトリを提供し、新しいUODアルゴリズムの公平かつ再現可能なベンチマーク評価を可能にすること。

提案手法

• 学習戦略、適用可能なデータセット、使用された特徴量またはフレームワーク、学習段階に基づいて、既存のUOD手法を分類すること。
• 標準化された指標と比較分析を用いて、複数のベンチマークデータセット（例：RUOD、DUO）上で最先端の検出器を評価すること。
• Diagnosisツールを用いて、オブジェクトのサイズとアスペクト比が検出性能に与える影響を分析すること。
• TIDEフレームワークを用いて、背景誤検出、局所化誤差、正例の見逃しといった異なる誤差タイプが検出器性能に与える影響を評価すること。
• 一般オブジェクト検出（GOD）における解決策とUODにおける解決策を比較し、研究ギャップを特定し、改善策を提案すること。
• 公平で一貫性のある新しいUODアルゴリズムの評価を可能にする、高品質で大規模なベンチマークの推奨。

Figure 1: Challenges such as (a) degraded image quality and small objects, (b) noisy labels, and (c) class imbalance in underwater object detection datasets significantly impair the performance of deep detection models. For instance, (c) highlights that the deep detector RepPoints [ 3 ] faces severe

実験結果

リサーチクエスチョン

• RQ1 異なる学習戦略、ネットワークアーキテクチャ、損失関数は、水中オブジェクト検出器の性能にどのように影響するか？
• RQ2 水中オブジェクト検出における主な課題は何か。それらは一般オブジェクト検出における課題とどのように異なるか？
• RQ3 オブジェクトのサイズ、アスペクト比、画像品質の劣化が、さまざまなモデルにおける検出精度にどの程度影響を及えるか？
• RQ4 背景誤検出、局所化誤差、正例の見逃しといった異なる種類の誤差は、検出器やデータセットによってどのように異なるか？
• RQ5 Diagnosis や TIDE といった既存の分析ツールは、モデルの弱みを効果的に特定し、水中オブジェクト検出における今後の改善を導くのに有効か？

主な発見

• 大多数の検出器は、極めて小さな（XS）および極めて広い（XW）オブジェクトにおいて顕著に性能が低下しており、サイズやアスペクト比で10パーセンタイル未満のオブジェクトでは検出精度が著しく低下する。
• RUODデータセットでは、FoveaBox、Cascade R-CNN、RepPoints、ATSS といった検出器が、深刻な色の歪みと低コントラストのため、背景誤検出および局所化誤差の割合が高くなる。
• DUOデータセットでは、ぼやけ具合がひどいため背景誤検出が顕著となり、海ブドウが砂に、シジミガイが石に似て見えるため、誤分類が生じる。
• RetinaNet は分類誤検出を多く生じる傾向がある。これはファーカス損失が難しい分類例に過剰に重みを置くためであり、容易なインスタンスの誤分類を引き起こす可能性がある。
• GridRCNN および DetectoRS は、グリッドベースの局所化と複雑な特徴抽出に依存しているため、小さなオブジェクトやぼやけたオブジェクトでは正例の見逃し率が高くなる。
• Diagnosis および TIDE ツールの使用により、検出器は一般的に中程度のサイズで正方形に近い形状（アスペクト比1:1）のオブジェクトに対して最も良好に動作することが判明したが、極端なアスペクト比では、正方形のカーネルおよびアンカーボックスの制限により性能が著しく低下する。

Figure 2: The development of (a) AI in underwater object detection and (b) generic artificial intelligence.