[論文レビュー] Panoptic Instance Segmentation on Pigs

Johannes Brünger, Maria Gentz+2 more|arXiv (Cornell University)|May 21, 2020

Animal Behavior and Welfare Studies参考文献 49被引用数 11

ひとこと要約

本論文は、深層学習を用いてピクセル単位の体形輪郭検出を実現する、ブタ向けのパンタピックインスタンスセグメンテーションフレームワークを提案する。バウンディングボックスやキーポイント検出を上回る性能を発揮し、遮蔽や画像品質の悪さにもかかわらず、手動ラベル付きの1,000枚の画像から構成される独自データセットにおいて95%のF1スコアを達成した。これにより、ピクチャチャラージュリスティングファームにおける正確なブタのサイズおよび体重推定が可能になる。

ABSTRACT

The behavioural research of pigs can be greatly simplified if automatic recognition systems are used. Especially systems based on computer vision have the advantage that they allow an evaluation without affecting the normal behaviour of the animals. In recent years, methods based on deep learning have been introduced and have shown pleasingly good results. Especially object and keypoint detectors have been used to detect the individual animals. Despite good results, bounding boxes and sparse keypoints do not trace the contours of the animals, resulting in a lot of information being lost. Therefore this work follows the relatively new definition of a panoptic segmentation and aims at the pixel accurate segmentation of the individual pigs. For this a framework of a neural network for semantic segmentation, different network heads and postprocessing methods is presented. With the resulting instance segmentation masks further information like the size or weight of the animals could be estimated. The method is tested on a specially created data set with 1000 hand-labeled images and achieves detection rates of around 95% (F1 Score) despite disturbances such as occlusions and dirty lenses.

研究の動機と目的

• バウンディングボックスやキーポイント検出の限界を是正し、ブタの行動モニタリングにおいてピクセル単位のセグメンテーションを可能にする。
• 遮蔽や低照度状態といったブタ固有の課題に特化した、セマンティックセグメンテーションとインスタンスセグメンテーションを統合したフレームワークを開発する。
• 正確なセグメンテーションマスクを用いて、ブタのサイズおよび体重の正確な推定を実現する。
• パンタピックセグメンテーション研究におけるブタビジョン分野の発展を促進するため、1,000枚の手動ラベル付き画像を含む公開可能で高品質なデータセットを構築する。
• 複雑なブリーダーハウス環境における誤検出や見逃しの削減により、自動ブタモニタリングシステムの信頼性を向上させる。

提案手法

• ブタの体のセマンティックセグメンテーションに適した深層ニューラルネットワークアーキテクチャ（ResNet34、Inception-ResNet-v2、または両者の組み合わせ）を活用する。
• 複数のネットワークヘッドを用いてインスタンスマスクを生成し、セグメンテーション境界を精緻化する。
• 後処理技術を適用してセグメンテーションマスクから楕円形の輪郭を抽出し、サイズおよび体重の推定を可能にする。
• インスタンスセグメンテーションとセマンティックセグメンテーションの両方の品質を評価するため、新規のパンタピック評価指標（PQ）を導入する。
• 重なっているブタや画面上端・下端付近のブタに対処するため、データオーグメンテーションとクラスタリングベースのフィルタリングを実装する。
• 誤検出や見逃しを低減するため、最小ピクセル数などの整合性チェックを適用する。

実験結果

リサーチクエスチョン

• RQ1 実際の農場環境下で、パンタピックインスタンスセグメンテーションは、バウンディングボックスやキーポイント検出を上回る高い精度を達成できるか？
• RQ2 遮蔽、低照度、汚れのついたレンズといった一般的な課題に対して、提案されたフレームワークはどの程度の性能を示すか？
• RQ3 バウンディングボックスベースの手法と比較して、ピクセル単位の正確なセグメンテーションは、ブタのサイズおよび体重の推定をどの程度向上できるか？
• RQ4 異なるバックボーンネットワーク（ResNet34、Inception-ResNet-v2）は、提案されたブタセグメンテーションタスクにおいて、性能に差を示すか？
• RQ5 データ品質およびアノテーションの一貫性は、ブタビジョンシステムにおけるセグメンテーションモデルの一般化性能および評価にどのような影響を及えるか？

主な発見

• 提案されたパンタピックセグメンテーションフレームワークは、全テストセットで95.5%のF1スコアを達成し、日中条件下では96.19%、夜間条件下では94.87%のF1スコアを示した。
• 遮蔽や低視認性状況を含む多様な条件下でも、高い精度（95.86%）と再現率（95.14%）を維持した。
• アブレーションスタディの結果、ResNet34とInception-ResNet-v2のバックボーン間で性能に顕著な差がなく、アーキテクチャ選定に対するロバストネスが示された。
• フレームワークにより、セグメンテーションマスクからブタの体周囲および体積を信頼性高く推定可能となり、体重および健康状態のモニタリングを支援した。
• 重なっているブタや画面上端・下端付近のブタに対しても、モデルは一貫した性能を発揮した。誤検出の主な原因はアノテーションの曖昧さに起因していた。
• 今後の研究における公平なベンチマーク評価を可能にするため、固定されたアノテーションルールを備えた標準化された、公開可能なデータセットの必要性が強調された。