[論文レビュー] Beef Cattle Instance Segmentation Using Fully Convolutional Neural Network

Aram Ter-Sarkisov, Robert Ross+3 more|arXiv (Cornell University)|Jul 5, 2018

Food Supply Chain Traceability参考文献 14被引用数 12

ひとこと要約

本論文では、領域提案ネットワーク（RPN）やバウンディングボックスを必要とせず、エンドツーエンドのインスタンスセグメンテーションを実現する新しいフレームワーク、MaskSplitterを提案する。マスク予測の重なり解析に基づき、ピxls単位のシグモイド損失とユークリッド距離損失を活用してマスク予測を精緻化することで、困難なビーフコブラのCCTVデータセットにおいて、Mask R-CNNに比べ+8%のmAP向上を達成し、実環境農業条件下でも優れた一般化性能を示した。

ABSTRACT

We present an instance segmentation algorithm trained and applied to a CCTV recording of beef cattle during a winter finishing period. A fully convolutional network was transformed into an instance segmentation network that learns to label each instance of an animal separately. We introduce a conceptually simple framework that the network uses to output a single prediction for every animal. These results are a contribution towards behaviour analysis in winter finishing beef cattle for early detection of animal welfare-related problems.

研究の動機と目的

• 低リソースで動的な農場環境における、リアルタイムでRPNフリーのインスタンスセグメンテーション手法の開発。
• CCTV映像における牛のポーズの多様性や隠蔽の高さが、既存モデルの一般化性能を損なうという課題に対処する。
• グランドトゥースの重なり解析を用いてFCN出力を精緻化することで、ベンチマーク外のデータセットにおけるインスタンスセグメンテーション性能を向上させる。
• 単純で軽量なアーキテクチャが、ドメイン特化された実世界データにおいて、Mask R-CNNのような複雑な最先端モデルを上回ることを示す。
• 動物福祉モニタリングの実用的応用、例えば早期の歩行障害の検出や行動分析を可能にする。

提案手法

• フレームワークは、マスク予測の品質分類を可能にする軽量なヘッドネットワークをFCN8sに追加し、3種類のマスク表現を予測する：1頭の動物と正確に重なっている良好なマスク、複数頭と重なっている悪いマスク（タイプ1）、複数のマスクに覆い隠されている悪いマスク（タイプ2）。
• 予測マスクとグランドトゥースマスクの重なりに基づき、ピxls単位のシグモイド損失とユークリッド距離損失を組み合わせた新しい損失関数を用いて、マスク予測を精緻化する。
• 各マスクタイプごとに分離された全結合層を含むネットワークアーキテクチャにより、トレーニング中に予測品質の分類が可能になる。
• バウンディングボックスや領域提案を必要とせず、予測マスクとグランドトゥースの重なり解析によってマスク品質を評価し、トレーニングをガイドする。
• 最小限の追加パラメータ（約187,000）で、ベンチマークデータセット（MS COCO、Pascal VOC）および独自のビーフコブラCCTVデータセットを、エンドツーエンドでトレーニングする。
• スコアマップをバックボーンネットワークが生成する任意の画像vs背景問題に一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 軽量でRPNフリーのインスタンスセグメンテーションフレームワークは、実世界で困難なコブラ監視データセットにおいて、Mask R-CNNのような最先端モデルを上回ることができるか？
• RQ2 提案された重なりベースのマスク精緻化機構は、バウンディングボックス予測なしにインスタンスセグメンテーションの正確性を向上させるのにどの程度有効か？
• RQ3 浅いFCN8sバックボーンにMaskSplitterヘッドを組み合わせたアーキテクチャは、農場CCTV映像のようなドメインシフトが生じるデータにどの程度一般化できるか？
• RQ4 良好・悪化タイプ1・悪化タイプ2の3種類のマスク予測ヘッドを用いることで、標準のマスク予測ヘッドに比べてセグメンテーション性能が向上するか？
• RQ5 膨大なデータ増強やアンサンブル手法を必要とせず、限定的でドメイン特化されたデータに対して効果的にファインチューニング可能か？

主な発見

• 独自のビーフコブラCCTVデータセットにおいて、FCN8s + MaskSplitterフレームワークは、最高性能を示したMask R-CNNモデルに比べ、平均平均精度（mAP）が8.1ポイントも向上し、優れた一般化性能を示した。
• 同じデータセットで、フルファインチューニングおよびヘッドのみファインチューニングされたMask R-CNNをすべて上回り、最高のMask R-CNN結果を8%以上上回るmAPを達成した。
• MS COCO 2017データセットにおいても、Mask R-CNNで使用されたResNet-101とは対照的に浅いバックボーン（FCN8s）を用いても、競争力のある結果を達成した。これは、強力な特徴抽出効率を示している。
• 牛のデータセットでは、AP@0.5 IoUが67.8%に達し、同じトレーニング条件下で最高のMask R-CNN結果（65.2%）を大きく上回った。
• アブレーションスタディにより、重なりベースの損失を伴うMaskSplitterヘッドの追加が性能向上に顕著に寄与することが確認され、標準のFCN8sに比べて設計選択の妥当性が裏付けられた。
• データ拡張技術（フリップや回転など）を一切使用せず、ドメインシフトに対して高い耐性を示した。