[論文レビュー] Vision-based Behavioral Recognition of Novelty Preference in Pigs

Aniket Shirke, Rebecca K. Golden+4 more|arXiv (Cornell University)|Jun 23, 2021

Human Pose and Action Recognition参考文献 10被引用数 4

ひとこと要約

本稿は、深層学習を用いた豚の行動認識のための完全にアノテートされた動画データセットであるPig Novelty Preference Behavior (PNPB) データセットを紹介する。LRCN、C3D、TSMモデルを用いた行動認識およびNOR指標予測の評価において、93%の正確性と96%の平均平均精度（mAP）を達成したが、急速な豚の動きのため、調査回数や遅延といった微細な指標の回帰には課題が残っている。

ABSTRACT

Behavioral scoring of research data is crucial for extracting domain-specific metrics but is bottlenecked on the ability to analyze enormous volumes of information using human labor. Deep learning is widely viewed as a key advancement to relieve this bottleneck. We identify one such domain, where deep learning can be leveraged to alleviate the process of manual scoring. Novelty preference paradigms have been widely used to study recognition memory in pigs, but analysis of these videos requires human intervention. We introduce a subset of such videos in the form of the 'Pig Novelty Preference Behavior' (PNPB) dataset that is fully annotated with pig actions and keypoints. In order to demonstrate the application of state-of-the-art action recognition models on this dataset, we compare LRCN, C3D, and TSM on the basis of various analytical metrics and discuss common pitfalls of the models. Our methods achieve an accuracy of 93% and a mean Average Precision of 96% in estimating piglet behavior. We open-source our code and annotated dataset at https://github.com/AIFARMS/NOR-behavior-recognition

研究の動機と目的

• 豚の行動研究における手動による動画アノテーションのボトル neck を解消するため、自動化された深層学習ベースのソリューションを開発すること。
• 新奇性嗜好テスト用の豚の行動とキーポイントを含む完全にアノテートされたデータセットであるPNPBの作成。
• LRCN、C3D、TSMといった最先端の行動認識モデルを、豚の動画データに対してクリップレベルおよび動画レベルの両方のパフォーマンス評価すること。
• 人間レベルの正確性でドメイン固有のNOR指標（例：認識インデックス、調査時間）を予測できるかを評価すること。
• 特にタイミングや短時間の行動を含む指標に対して、現在のモデルが急速な動物行動に適用された際の技術的限界を特定すること。

提案手法

• PNPBデータセットは、新奇性嗜好アリーナ内の仔豚の5.5分間の動画を含み、行動（例：調査）および2次元キーポイントがアノテートされている。
• 30フレームのクリップを用いて、クリップレベルの行動認識の評価のために、LRCN、C3D、TSMの3つの深層学習モデルを訓練および評価した。
• LRCNは、空間的特徴抽出のためのResNet-18バックボーンと、時間的モデリングのためのLSTMを用いている。
• C3Dは、動画クリップに3次元畳み込みを適用して空間時間的特徴を学習し、Sports1Mの事前学習モデルを微調整した。
• TSMは、時間的ダイナミクスを効率的にモデル化するために、ResNet-18バックボーンに時間シフトモジュール（Temporal Shift Module）を組み合わせたもので、RNNを必要としない。
• 動画レベルのパフォーマンスは、境界の整合性とエラーの種別を評価するため、連続的行動認識指標（TP、TN、O、U、F、M、I、D）を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 最先端の行動認識モデルは、新奇性嗜好タスクにおける豚の行動分類において人間レベルの正確性を達成できるか？
• RQ2 これらのモデルは、認識インデックス、調査時間、遅延といったドメイン固有のNOR指標をどの程度正確に予測できるか？
• RQ3 急速で短時間の豚の行動に適用した際、深層学習モデルの主な失敗モードは何か？
• RQ4 計算効率とモデルアーキテクチャ（例：RNN対比3次元CNN対比TSM）は、パフォーマンスと推論速度にどのように影響するか？
• RQ5 クリップレベルの正確性が高水準であるにもかかわらず、なぜ調査回数や遅延といった指標の回帰が正確にできないのか？

主な発見

• モデルは短い動画クリップにおける豚の行動分類において93%の正確性と96%の平均平均精度（mAP）を達成した。
• TSMモデルは、計算効率とパフォーマンスのバランスが最も優れており、CPU上で14.2 FPS、2.1 GMACsの計算量を示した。
• 連続的行動認識では真陽性および真陰性率が90%以上に達したが、約3%の時間において重大なエラー（挿入・削除）が発生した。
• CD（全調査時間）とRI（認識インデックス）の予測では、決定係数R²がそれぞれ0.99および0.86と高く、優れた回帰性能を示した。
• 調査回数（N）の予測では低く抑えられ、LFおよびLL指標に対しても困難を示し、決定係数R²はそれぞれ0.58、0.42、および-0.26にとどまった。
• 主な課題は、1秒未塔の短時間で発生する高速な相互作用の検出にあり、これらは正確なNOR指標計算に不可欠である。