[論文レビュー] CVB: A Video Dataset of Cattle Visual Behaviors

Ali Zia, Renuka Sharma+8 more|arXiv (Cornell University)|May 26, 2023

Animal Behavior and Welfare Studies被引用数 5

ひとこと要約

本論文は、自然光条件下の放牧牛の15秒間の映像502本から成る大規模な動画データセットCVBを紹介する。各映像は11の視覚的に認識可能な行動にラベル付けされている。事前学習済みのYOLOv7およびBotsortモデルを用いて初期の検出と追跡を実施し、その後CVATでドメインスペシャリストによるラベル付けを実施することで、ラベリング作業を71%削減した。SlowFastモデルを用いることで、一般的な行動（放牧：73.96%の正確さ、横たわって休む：58%の正確さ）の正確な局所化と認識が可能となり、クラスの不均衡にもかかわらず希少行動においても有望な結果が得られた。

ABSTRACT

Existing image/video datasets for cattle behavior recognition are mostly small, lack well-defined labels, or are collected in unrealistic controlled environments. This limits the utility of machine learning (ML) models learned from them. Therefore, we introduce a new dataset, called Cattle Visual Behaviors (CVB), that consists of 502 video clips, each fifteen seconds long, captured in natural lighting conditions, and annotated with eleven visually perceptible behaviors of grazing cattle. We use the Computer Vision Annotation Tool (CVAT) to collect our annotations. To make the procedure more efficient, we perform an initial detection and tracking of cattle in the videos using appropriate pre-trained models. The results are corrected by domain experts along with cattle behavior labeling in CVAT. The pre-hoc detection and tracking step significantly reduces the manual annotation time and effort. Moreover, we convert CVB to the atomic visual action (AVA) format and train and evaluate the popular SlowFast action recognition model on it. The associated preliminary results confirm that we can localize the cattle and recognize their frequently occurring behaviors with confidence. By creating and sharing CVB, our aim is to develop improved models capable of recognizing all important behaviors accurately and to assist other researchers and practitioners in developing and evaluating new ML models for cattle behavior classification using video data.

研究の動機と目的

• 自然環境下における牛の行動認識のための、大規模で現実的かつ詳細にラベル付けされた動画データセットの不足に対処すること。
• 事前学習済みの物体検出および追跡モデル（YOLOv7およびBotsort）を活用し、ドメインスペシャリストによるラベル付けの前段階でラベリング作業を削減すること。
• 現実世界の条件下で頻度の高い行動と希少な行動の両方を認識できる、強固な機械学習モデルを支援するデータセットを構築すること。
• 動画データを用いた動物行動分類のための新しい深層学習モデルの開発と評価を可能にすること。
• 正確な行動認識を通じて、家畜管理、動物福祉の監視、環境持続可能性の向上を支援すること。

提案手法

• 牧場の4隅に設置された高解像度カメラを用いて、8頭のアングス種の牛の自然光下での15秒間の映像を502本収録した。
• 映像を固定時間のセグメントに分割し、YOLOv7による物体検出とBotsortによるマルチオブジェクト追跡を実施して前処理を行った。
• コンピュータビジョンアノテーションツール（CVAT）を用い、検出結果の手動補正と行動ラベル付けを実施。ドメインスペシャリストによる検証で正確性を確保した。
• 最終的なアノテーションを、複数のアクターと相互作用を扱える行動認識モデルをサポートするため、Atomic Visual Action（AVA）形式に変換した。
• 80:20のトレーニング・テスト分割を用いて、AVA形式に変換されたCVBデータセット上でSlowFast行動認識モデルを訓練および評価した。
• 局所化の正確さを評価するために、交差領域比（IoU）の閾値（50%以上）を適用し、行動予測の信頼度スコアを報告した。

実験結果

リサーチクエスチョン

• RQ1 自然光下で詳細な行動ラベルが付与された大規模な動画データセットが、牛の行動認識のための機械学習モデルの性能を向上させることができるか？
• RQ2 事前学習済みの物体検出および追跡モデル（YOLOv7およびBotsort）を活用することで、牛の行動データセットにおける手作業ラベリングの負担をどの程度軽減できるか？
• RQ3 長尾分布を示す現実世界の牛の行動データセットに対して、最先端の行動認識モデル（SlowFast）はどの程度の性能を示すか？
• RQ4 CVBで学習したモデルは、遮蔽や照明の変動といった困難な条件下でも、頻度の高い行動（例：放牧）と希少な行動（例：掲り、走り）を正しく認識できるか？
• RQ5 AVA形式は、牛の動画データにおける複数アクターの行動と行動間の遷移をどの程度適切に表現できるか？

主な発見

• CVBデータセットには502本の映像が含まれており、各映像は15秒間で、合計225,900フレーム、136,598個の補正済みバウンディングボックスがアノテートされている。初期検出のうち29%しか手作業での補正を要しなかったことから、検出精度が高く、ラベリング作業の負担が著しく軽減されたことが示された。
• 放牧が最も頻度が高い行動（時間の39%）、次いで横たわって休む（15%）、立ち休憩（12%）、隠れている（10%）であり、それ以外の行動はいずれも5%未満で、長尾分布の特徴を明確に示している。
• 局所化のIoUが50%を超えた場合、SlowFastモデルは放牧のテスト正確度で73.96%、横たわって休むの正確度で58%を達成し、それぞれ平均信頼度スコアは89%および82%であった。
• 限られた学習データにもかかわらず、軽度の攻撃的行動や掲りといった希少行動についても妥当な性能を示した。これは、低リソースクラスへの汎化可能性の可能性を示している。
• 遮蔽や複数頭の牛が存在する複雑なシーンにおいても、モデルは行動を正しく局所化および認識できた。特に、複数頭が部分的に隠れている状況（図2b）でも効果的に動作した。
• 事前学習済みの検出および追跡モデルの活用により、ラベリング時間と作業負荷が顕著に削減され、大規模なデータキュレーションが可能でスケーラブルになった。