[論文レビュー] Overcoming Annotation Bottlenecks in Underwater Fish Segmentation: A Robust Self-Supervised Learning Approach

Alzayat Saleh, Marcus Sheaves+2 more|arXiv (Cornell University)|Jun 11, 2022

Water Quality Monitoring Technologies被引用数 6

ひとこと要約

本論文は、人為的アノテーションマスクを一切使用せず、高精度な水中魚のセグメンテーションを実現する自己教師ありエンドツーエンドのトランスフォーマー手法を提案する。動画レベルの時空間的一致性と、ペアでない視点間での対照学習を活用することで、未学習データセットにおいて最先端の性能を達成し、畳み込みニューラルネットワーク（CNN）およびトランスフォーマーに基づく自己教師あり手法を上回り、完全教師あり性能に近づく。本手法は1つのGPUで事前学習なしに、完全にスクラッチから学習可能である。

ABSTRACT

Accurate fish segmentation in underwater videos is challenging due to low visibility, variable lighting, and dynamic backgrounds, making fully-supervised methods that require manual annotation impractical for many applications. This paper introduces a novel self-supervised learning approach for fish segmentation using Deep Learning. Our model, trained without manual annotation, learns robust and generalizable representations by aligning features across augmented views and enforcing spatial-temporal consistency. We demonstrate its effectiveness on three challenging underwater video datasets: DeepFish, Seagrass, and YouTube-VOS, surpassing existing self-supervised methods and achieving segmentation accuracy comparable to fully-supervised methods without the need for costly annotations. Trained on DeepFish, our model exhibits strong generalization, achieving high segmentation accuracy on the unseen Seagrass and YouTube-VOS datasets. Furthermore, our model is computationally efficient due to its parallel processing and efficient anchor sampling technique, making it suitable for real-time applications and potential deployment on edge devices. We present quantitative results using Jaccard Index and Dice coefficient, as well as qualitative comparisons, showcasing the accuracy, robustness, and efficiency of our approach for advancing underwater video analysis

研究の動機と目的

• 高価なピxls単位のマスクを必要としない水中魚セグメンテーションのアノテーションボトルネックを解消すること。
• 事前学習モデルに依存せずに、多様な水中環境や魚種にわたる一般化性能を向上させること。
• 未アノテートの動画シーケンスから密度のある表現を学習する、計算効率的でエンドツーエンドの自己教師あり手法を開発すること。
• 自己教師あり学習によるビジョン・トランスフォーマーが、挑戦的な水中視覚条件下で、ほぼ教師あり性能に達成できることを示すこと。

提案手法

• モデルは、同じ動画クリップのペアでない視点を共有の埋め込みに変換するため、1つのCoaTベースのビジョン・トランスフォーマーのバックボーンを用いる。
• 同一の動画クリップの2つの拡張された視点が、重みを共有する同一のブランチで生成され、符号化され、クロスビューの一貫性が強制される。
• 2つの視点の投影間で対照損失が適用され、対照的自己教師あり学習による不変表現を学習する。
• モーメンタム平均ネットワークからの偽ラベルを用いて自己訓練損失を導入し、予測の精錬と特徴の整合性向上を図る。
• 事前学習や人為的アノテーションマスクを一切使用せず、RGB動画フレームのみを用いてスクラッチから学習する。
• フレーム単位で入力動画に対して推論が行われる、密度のある時空間埋め込みが学習され、ピxls単位のセグメンテーションが可能になる。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありビジョン・トランスフォーマー・モデルは、人為的アノテーションマスクが一切ない状態で、高品質な水中魚セグメンテーションを達成できるか？
• RQ2 提案手法は、既存の自己教師ありおよび教師ありベースラインと比較して、未学習の水中動画データセットにどの程度一般化できるか？
• RQ3 ImageNetの事前学習に依存する手法と比較して、未アノテートデータからスクラッチで学習する手法が、どの程度優れた性能を示すか？
• RQ4 実世界の水中環境における遮蔽や魚の外見の変化、背景のごみの多さに対しても、モデルはどの程度頑健性を保てるか？
• RQ5 先行の自己教師ありおよび教師ありアプローチと比較して、モデルの計算効率はどの程度か？

主な発見

• 提案手法は、Seagrassデータセットで50.0の平均J&Fスコア、YouTube-VOSデータセットで63.3を達成し、ベースラインの自己教師ありモデルを顕著に上回った。
• 両方の未学習データセットにおいて、従来のCNNベースおよびトランスフォーマー基盤の自己教師あり手法を上回り、強力なゼロショット一般化性能を示した。
• 完全教師あり設定では、Seagrassで64.7、YouTube-VOSで79.3の平均J&Fを達成し、完全教師あり手法に非常に近い性能を示した。
• 計算効率が高く、11GBのGPU1台で事前学習なしに、大規模データを必要とせず学習可能であった。
• 多様な魚種や水中環境にわたって一般化がうまくいき、遮蔽や背景のごみに対しても頑健であった。
• 事前学習重みを一切使用せず、自己教師あり学習によるトランスフォーマーが、水中ビジョンタスクにおいてスクラッチからも効果的に機能することを実証した。