[論文レビュー] How to Track and Segment Fish without Human Annotations: A Self-Supervised Deep Learning Approach

Alzayat Saleh, Marcus Sheaves+2 more|arXiv (Cornell University)|Aug 23, 2022

Image Enhancement Techniques被引用数 6

ひとこと要約

本論文は、人間によるアノテーションを一切用いずに水中動画における未教師付きのフィッシュトラッキングおよびセグメンテーションのための自己教師付き深層学習フレームワークを提案する。光学フローとバックグラウンド差分法を組み合わせて偽ラベルを生成し、その後自己教師付きの精練とセグメンテーションネットワークの訓練を行うことで、公開データセットにおいて高い精度を達成し、さまざまな撮影条件においても高い耐性を示す。

ABSTRACT

Tracking fish movements and sizes of fish is crucial to understanding their ecology and behaviour. Knowing where fish migrate, how they interact with their environment, and how their size affects their behaviour can help ecologists develop more effective conservation and management strategies to protect fish populations and their habitats. Deep learning is a promising tool to analyze fish ecology from underwater videos. However, training deep neural networks (DNNs) for fish tracking and segmentation requires high-quality labels, which are expensive to obtain. We propose an alternative unsupervised approach that relies on spatial and temporal variations in video data to generate noisy pseudo-ground-truth labels. We train a multitask DNN using these pseudo-labels. Our framework consists of three stages: (1) an optical flow model generates the pseudo labels using spatial and temporal consistency between frames, (2) a self-supervised model refines the pseudo-labels incrementally, and (3) a segmentation network uses the refined labels for training. Consequently, we perform extensive experiments to validate our method on three public underwater video datasets and demonstrate its effectiveness for video annotation and segmentation. We also evaluate its robustness to different imaging conditions and discuss its limitations.

研究の動機と目的

• 水中動画におけるフィッシュトラッキングおよびセグメンテーションのためのピクセルレベルのアノテーションにかかる高コストと人的労力の問題を解決すること。
• 動画データに内在する時間的・空間的整合性を活用して、信頼性の高い偽ラベルを生成する完全な未教師付き手法を開発すること。
• 自己教師付きの精錬により偽ラベルの品質を向上させ、教師なしの状態でセグメンテーションネットワークの有効な訓練を可能にすること。
• 異なる撮影条件下で多様な水中動画データセットを用いて、手法の有効性を検証すること。
• 教師なしのラベルのみを用いて正確なセグメンテーションモデルを訓練可能であることを示すこと。

提案手法

• 本手法は、連続するフレーム間の動きと空間的整合性に基づいて、光学フローとバックグラウンド差分法を用いて初期の偽ラベルを生成する。
• 自己教師付きの精錬ネットワークが、時間的整合性と構造的整合性を活用して、繰り返し偽ラベルの品質を向上させる。
• 精錬された偽ラベルを用いて、教師あり学習の形でセグメンテーションネットワークを訓練するが、訓練や推論の段階で人間によるアノテーションデータは一切不要である。
• フレームワークは、ラベルなしの動画シーケンス上でエンドツーエンドに訓練され、学習を導くために動画の内在的ダイナミクスに依存する。
• 局所的およびグローバルなコンテキストをモデル化するため、ビジョントランスフォーマーと畳み込みニューラルネットワークを組み合わせる。
• 標準的な指標（例：平均精度（AP））を用いて評価され、3つの公開水中データセットで結果が報告されている。

実験結果

リサーチクエスチョン

• RQ1 光学フローとバックグラウンド差分法からのみの偽ラベルが、正確なフィッシュセグメンテーションモデルの訓練に十分な品質を達成できるか？
• RQ2 自己教師付きの精錬が、水中動画セグメンテーションにおける未教師付き偽ラベルの精度をどの程度向上させるか？
• RQ3 本手法は、画像品質や環境要因にばらつきのあるさまざまな水中動画データセットで、どの程度の性能を示すか？
• RQ4 再訓練や人間によるアノテーションなしで、新しいデータセットに一般化可能か？
• RQ5 本手法は、隠蔽や変動するフィッシュの形状、複雑な背景の処理において、どのような限界を示すか？

主な発見

• 提案手法は、3つの公開データセットすべてにおいて、バックグラウンド差分法を除いたベースライン光学フロー手法よりも高い平均精度（AP）を達成した。
• DeepFishデータセットでは、ベースラインを顕著に上回る高いセグメンテーション精度を示し、現実的条件下でも優れた性能を発揮した。
• 異なるデータセット間で一貫した性能を維持しており、画像品質や環境要因の変動に対しても耐性があることが示された。
• 数エポックで収束が早く、微調整時に教師あり学習を適用してもセグメンテーション精度が低下しなかった。
• 部分的な隠蔽に対しても耐性を示し、魚が強く遮蔽されていても可視部分のマスク予測を維持できた。
• 限界として、魚が非常に近接しているか重なっている場合に個体を区別できないこと、複雑なシーンではすべての魚を検出できない場合があること。