[論文レビュー] Going Deeper than Tracking: a Survey of Computer-Vision Based Recognition of Animal Pain and Affective States

Sofia Broomé, Marcelo Feighelstein+7 more|arXiv (Cornell University)|Jun 16, 2022

Human-Animal Interaction Studies被引用数 10

ひとこと要約

本サーベイは、動きの追跡をはるかに超えて、表情や身体的表現を評価することで、動物の感情状態や痛みを認識するコンピュータビジョンベースの手法について包括的な分析を提供する。既存の研究を統合し、データ、アノテーション、モデルの解釈可能性に関する主な課題を特定し、感情コンピューティングを用いた動物福祉の向上に向けたベストプラクティスと今後の方向性を提示する。

ABSTRACT

Advances in animal motion tracking and pose recognition have been a game changer in the study of animal behavior. Recently, an increasing number of works go 'deeper' than tracking, and address automated recognition of animals' internal states such as emotions and pain with the aim of improving animal welfare, making this a timely moment for a systematization of the field. This paper provides a comprehensive survey of computer vision-based research on recognition of affective states and pain in animals, addressing both facial and bodily behavior analysis. We summarize the efforts that have been presented so far within this topic -- classifying them across different dimensions, highlight challenges and research gaps, and provide best practice recommendations for advancing the field, and some future directions for research.

研究の動機と目的

• コンピュータビジョンを用いた動物の感情状態および痛みの認識分野における最新の知見を体系化し、レビューすること。
• 多様な動物種にわたるデータ収集、アノテーション、モデルの解釈可能性に関する主な課題を同定すること。
• 研究の空白を明らかにし、動物感情コンピューティング分野における今後の研究に向けたベストプラクティスの提言をすること。
• 跨種および種特異的な比較を可能にする標準的で公開可能なベンチマークデータセットの開発を提唱すること。
• 臨床意思決定支援および倫理的な動物福祉管理を支援するため、説明可能なAIアプローチの推進を提言すること。

提案手法

• 動物感情状態認識のためのコンピュータビジョン分野における120件以上の研究を系統的サーベイする。特に顔貌および身体行動の分析に焦点を当てる。
• 動物種、データモodal（例：動画、画像）、アノテーション手法、認識タスク（例：痛み、感情）といった次元に沿って、既存の研究を分類する。
• ハンドクラフト特徴量とディープラーニングモデルの技術的アプローチを分析し、モデルの透明性および特徴量の解釈可能性に重点を置く。
• 制御されたラボ環境と現実世界の農場や野生環境の両方における性能を評価し、分布シフトの影響を強調する。
• 人間の感情コンピューティング分野からの知見を統合し、特徴工学、データキュレーション、モデル評価におけるベストプラクティスを支援する。
• 自己教師あり脱同型化と倫理的配慮を重視したデータ収集およびモデルデプロイメントを柱とする、今後の研究のフレームワークを提言する。

実験結果

リサーチクエスチョン

• RQ1 動物の痛みおよび感情状態を認識するためのコンピュータビジョンで用いられている現在の技術的および手法論的アプローチは何か？
• RQ2 制御されたラボ環境と現実世界の環境との間で、性能指標およびモデルの一般化能はどのように変化するか？
• RQ3 動物感情コンピューティング分野におけるデータ収集、アノテーション品質、モデルの解釈可能性に関する主な課題は何か？
• RQ4 説明可能なAI技術は、臨床的文脈および福祉管理文脈における信頼性と適用性をどのように向上させることができるか？
• RQ5 標準的で公開可能なベンチマークデータセットは、この分野における再現性および跨種比較をどのように促進するか？

主な発見

• 痛み認識のパフォーマンスは環境によって顕著に異なる。マウスでは制御されたラボ環境で99％の正確度が報告されたが、サケの実環境農場環境では67％にとどまった。
• 深層学習モデルと学習済み特徴量の使用傾向が顕著であるが、これらはしばしば解釈不能な「ブラックボックス」的推論を生じさせ、解釈性に欠ける。
• ハンドクラフト特徴量はより優れた解釈性を提供するが、エンドツーエンドで学習された表現に比べて性能が劣る傾向にあり、透明性と正確性のトレードオフが顕在化している。
• 形態的多様性、ポーズ、照明、背景の変動が顕著な未制御環境では、モデルの一般化能力が著しく制限される。
• 誘発された感情状態を伴った倫理的に収集された、公開可能なデータセットの欠如が、再現性および異なる手法間の比較を制限している。
• 自己教師あり脱同型化技術は、表情とポーズや背景などの変動要因を分離する可能性を示しているが、動物の感情認識分野では依然として不安定で未発達である。