[論文レビュー] Segmentation Enhanced Lameness Detection in Dairy Cows from RGB and Depth Video

Eric Arazo, Robin Aly+1 more|arXiv (Cornell University)|Jun 9, 2022

Animal Behavior and Welfare Studies被引用数 4

ひとこと要約

本稿では、RGBおよび深度動画を用い、マスク処理を施した牛の領域に事前学習済みSlowFastネットワークを適用することで、分類精度を向上させる、セグメンテーション強化型の乳牛の跛行検出システムを提案する。原始的な動画入力を二値セグメンテーションマスクに置き換えることで、側面視での検出精度が61.76%から84.56%に向上し、牛の体形構造に注目することで、跛行分類性能が顕著に向上することを示している。

ABSTRACT

Cow lameness is a severe condition that affects the life cycle and life quality of dairy cows and results in considerable economic losses. Early lameness detection helps farmers address illnesses early and avoid negative effects caused by the degeneration of cows' condition. We collected a dataset of short clips of cows passing through a hallway exiting a milking station and annotated the degree of lameness of the cows. This paper explores the resulting dataset and provides a detailed description of the data collection process. Additionally, we proposed a lameness detection method that leverages pre-trained neural networks to extract discriminative features from videos and assign a binary score to each cow indicating its condition: "healthy" or "lame." We improve this approach by forcing the model to focus on the structure of the cow, which we achieve by substituting the RGB videos with binary segmentation masks predicted with a trained segmentation model. This work aims to encourage research and provide insights into the applicability of computer vision models for cow lameness detection on farms.

研究の動機と目的

• 経済的および動物福祉的損失を低減するため、乳牛における早期跛行検出の課題に取り組む。
• 手動による跛行スコアリングの主観性と専門家依存性を克服するため、自動化されたコンピュータビジョンベースのソリューションを開発する。
• カメラの位置、入力特徴量、およびクラス不均衡が跛行検出性能に与える影響を調査する。
• セグメンテーションマスクを用いて牛の体形構造に注目させる仕組みを導入することで、モデルのロバスト性を向上させる。
• 今後の農場ベースのコンピュータビジョン応用分野における研究を促進するため、公開可能なデータセットと手法を提供する。

提案手法

• Intel Realsense D435カメラを用いて、牛の識別にRFIDを活用し、側面および上面視点から合計1,733本の牛の動画クリップを収集した独自データセットを構築した。
• 視覚的一致性をRGB入力と保つために、深度動画をHUEカラー空間符号化によりRGBに変換した。
• 背景のゴミと分離された牛の二値マスクを生成するため、セマンティックセグメンテーションモデルを訓練した。
• スパティオトロピカル特徴を抽出するために、SlowFast 3D CNNを動画入力に適用し、RGBおよびマスク処理済み動画ストリームの両方を用いた。
• スローパthとファストパスの特徴を連結（合計2304次元）することで、より優れた表現学習を実現した。
• Adam最適化法と交差エントロピー損失を用い、ReLUおよびソフトマックス活性化関数を内蔵する3層分類器を訓練し、'健全'または'跛行'を予測した。

実験結果

リサーチクエスチョン

• RQ1 カメラの位置（側面視対上面視）が跛行検出精度に与える影響は何か？
• RQ2 原始RGB、深度、またはセグメンテーションマスク処理済み動画入力の使用が分類性能に与える影響は何か？
• RQ3 動画入力にセグメンテーションマスクを適用することで、特徴学習およびモデル一般化性能がどのように向上するか？
• RQ4 クラス不均衡（健全牛の優位性に起因）がモデル性能に与える影響はどの程度で、どのように緩和できるか？
• RQ5 深度マップの前処理に要する計算コストはどの程度で、農場でのリアルタイムデプロイにどのように影響するか？

主な発見

• セグメンテーションマスクをRGB入力に適用した場合、側面視での精度が84.56%に達し、上面視の75.00%を大きく上回った。
• 原始RGB動画に比べ、セグメンテーションマスクの適用により、側面視での精度が22.8ポイント向上（61.76% → 84.56%）した。
• 深度動画入力の場合、マスク処理により側面視での精度が63.23%から75.00%に向上したが、上面視では性能が低下した。
• セグメンテーションマスクを適用した場合、側面視での'跛行'クラスのリコールが27%から80%に上昇し、重度の症例の検出能力が向上した。
• マスク処理済みRGB入力では、側面視での'跛行'クラスの精度が82%に向上し、誤検出（ファルスポジティブ）が減少した。
• 深度マップのHUE符号化は計算コストが高く、リアルタイム農場デプロイのボトルネックと特定された。