[論文レビュー] Affinity LCFCN: Learning to Segment Fish with Weak Supervision

Issam Laradji, Alzayat Saleh+4 more|arXiv (Cornell University)|Nov 6, 2020

Water Quality Monitoring Technologies参考文献 49被引用数 10

ひとこと要約

本稿では、1匹の魚あたり1秒で済むポイントラベルのみを用いる弱教師付きインスタンスセグメンテーション手法A-LCFCNを提案する。これは、ピxls単位のラベリングに比べて時間のかかる作業を大幅に削減する。学習可能なアフィニティモジュールを完全畳み込みネットワークと統合し、ランダムウォークによる予測の微調整を施すことで、A-LCFCNは完全教師ありモデルと同等のセグメンテーション性能を達成しながら、ラベル作成コストを90%以上削減する。

ABSTRACT

Aquaculture industries rely on the availability of accurate fish body measurements, e.g., length, width and mass. Manual methods that rely on physical tools like rulers are time and labour intensive. Leading automatic approaches rely on fully-supervised segmentation models to acquire these measurements but these require collecting per-pixel labels -- also time consuming and laborious: i.e., it can take up to two minutes per fish to generate accurate segmentation labels, almost always requiring at least some manual intervention. We propose an automatic segmentation model efficiently trained on images labeled with only point-level supervision, where each fish is annotated with a single click. This labeling process requires significantly less manual intervention, averaging roughly one second per fish. Our approach uses a fully convolutional neural network with one branch that outputs per-pixel scores and another that outputs an affinity matrix. We aggregate these two outputs using a random walk to obtain the final, refined per-pixel segmentation output. We train the entire model end-to-end with an LCFCN loss, resulting in our A-LCFCN method. We validate our model on the DeepFish dataset, which contains many fish habitats from the north-eastern Australian region. Our experimental results confirm that A-LCFCN outperforms a fully-supervised segmentation model at fixed annotation budget. Moreover, we show that A-LCFCN achieves better segmentation results than LCFCN and a standard baseline. We have released the code at \url{https://github.com/IssamLaradji/affinity_lcfcn}.

研究の動機と目的

• 魚モニタリングにおけるピxls単位のセグメンテーションの高コストなラベリングを、弱教師付き学習によって軽減すること。
• 従来のポイントラベル手法が不正確な境界や大きなブロブを生成するという限界を解消すること。
• 学習可能なアフィニティモジュールを用いて、複雑で細長い形状の魚のセグメンテーション精度を向上させること。
• 疑似ラベル化を組み合わせることで、ポイントラベルの教師付き学習が完全教師あり学習に近い性能を達成できることを実証すること。
• 最小限の人的ラベル作業で、持続可能な漁業のためのスケーラブルで効率的な魚の生息地モニタリングを可能にすること。

提案手法

• 特徴抽出のため、共有されたImageNet事前学習済みVGG16バックボーンを用いた完全畳み込みネットワークを訓練する。
• デュアルブランチアーキテクチャを採用：一方のブランチはピxls単位の分類スコアを予測し、もう一方は学習可能なピxls単位のアフィニティ行列を予測する。
• ランダムウォークアルゴリズムを用いてアフィニティ行列とピxlsスコアを統合し、局所的な意味的類似性に基づいてセグメンテーションマスクを微調整する。
• 正しく局所化され、境界に沿った予測を促進するLCFCN損失関数を用いて、エンドツーエンドでモデルを訓練する。
• A-LCFCNが生成したマスクを用いて、完全教師ありモデルを微調整する疑似マスク（PM）のリファインメントステップを適用する。
• 最終的なセグメンテーション出力から、連結成分を用いて魚のインスタンスを抽出し、カウントおよび局所化タスクに活用する。

実験結果

リサーチクエスチョン

• RQ1 ポイントラベルの弱教師付き学習が、魚のインスタンスセグメンテーションにおいて完全教師あり手法と同等の性能を達成できるか？
• RQ2 学習可能なアフィニティモジュールを統合することで、従来の弱教師付き手法と比較して境界の局所化精度が向上するか？
• RQ3 より多様な魚の生息環境を含む大規模データセットで学習した場合、モデルの性能はどのようになるか？
• RQ4 A-LCFCNが生成する疑似ラベルは、完全教師ありセグメンテーションモデルの性能向上に有効に機能するか？
• RQ5 高精度なセグメンテーションを維持しつつ、この手法がラベル作成コストをどの程度削減できるか？

主な発見

• 固定されたラベル作成予算（約1500秒）のもとで、A-LCFCNは完全教師ありのFS-FCNを上回り、ポイントラベルのみを用いてもより高いmIoUを達成した。
• FishLocデータセットでは、A-LCFCNが平均IoU 0.785を達成し、LCFCN（0.682）およびPL-FCN（0.641）を顕著に上回った。
• A-LCFCN+PMのバリエーションは、FishLocでmIoU 0.812、FishSegで0.768を達成し、疑似ラベル化がさらに性能を向上させることを示した。
• 定性的な結果から、A-LCFCNはLCFCNやPL-FCNと比較して、より正確な境界認識セグメンテーションを生成しており、中心部の大きなブロブを回避している。
• セグメンテーション性能が向上した一方で、A-LCFCN、A-LCFCN+PM、LCFCNの間でカウントおよび局所化性能に大きな差はなく（MAE ≈ 0.03–0.097）、インスタンス検出の堅牢性が保証されている。
• 大規模データセットでは、A-LCFCNはより多くの学習データに応じて性能向上を示したが、LCFCNは境界学習が不十分なため、性能が頭打ちまたは低下した。