[論文レビュー] Deep Learning Models for Automated Classification of Dog Emotional States from Facial Expressions

Tali Boneh-Shitrit, Shir Amir+5 more|arXiv (Cornell University)|Jun 11, 2022

Human-Animal Interaction Studies被引用数 4

ひとこと要約

本研究では、制御された実験データセットからの顔の表情を用いて、犬の感情状態（特に前向きの予期といらだち）を自動分類するための深層学習フレームワークを提案する。自己教師あり事前学習を用いることで、DINO-ViTはResNetや他のバックボーンを上回り、感情表現に関連する顔の領域に局所化された注目を示し、優れた正確性を示した。

ABSTRACT

Similarly to humans, facial expressions in animals are closely linked with emotional states. However, in contrast to the human domain, automated recognition of emotional states from facial expressions in animals is underexplored, mainly due to difficulties in data collection and establishment of ground truth concerning emotional states of non-verbal users. We apply recent deep learning techniques to classify (positive) anticipation and (negative) frustration of dogs on a dataset collected in a controlled experimental setting. We explore the suitability of different backbones (e.g. ResNet, ViT) under different supervisions to this task, and find that features of a self-supervised pretrained ViT (DINO-ViT) are superior to the other alternatives. To the best of our knowledge, this work is the first to address the task of automatic classification of canine emotions on data acquired in a controlled experiment.

研究の動機と目的

• 犬の表情から感情状態を自動的に分類するための深層学習システムを開発すること。特に前向きの予期といらだちに焦点を当てる。
• 犬の感情認識において、異なる深層学習バックボーン（ResNetとビジョントランスフォーマー（ViT））の性能を評価すること。
• モデルの汎化性能と性能を向上させるために、教師あり（ImageNet）と自己教師あり（DINO）の事前学習戦略を比較すること。
• 活性マップを用いた解釈可能性の評価を行い、学習された特徴がDogFACSのアクションユニットといった行動科学的概念とどのように関連するかを検証すること。
• 厳密に収集された制御されたデータセットを用いて、犬の感情認識のための信頼性の高い客観的ベースラインを確立すること。

提案手法

• ラブラドール・レトリーバーを用いた制御された実験データセットを活用し、前向きの予期といらだちを誘発させ、一貫性があり信頼性の高い真のラベルを確保した。
• 異なるバックボーン（ResNetとビジョントランスフォーマー（ViT））を用いて、教師あり（ImageNet）および自己教師あり（DINO）の事前学習を組み合わせた複数の深層学習モデルを訓練した。
• 顔の領域（目、耳、鼻など）への注目度を評価するため、活性マップの可視化にEigen-CAMを適用した。
• バランスの取れたテストセット上で、標準的な分類指標（例：正確度、F1スコア）を用いてモデル性能を評価した。
• DINO-ViTの自己教師あり事前学習を活用し、オブジェクトの部分に敏感な意味的豊かな特徴を抽出することで、微細な顔の動きの捉えを向上させた。
• モデルの注目度をDogFACSのアクションユニットにマッピングし、行動科学的概念との整合性を検証した。

実験結果

リサーチクエスチョン

• RQ1 制御された実験から得た顔の表情を用いて、深層学習モデルは犬の感情状態（特に前向きの予期といらだち）を正確に分類できるか？
• RQ2 このタスクにおいて、異なるバックボーンアーキテクチャ（ResNet対ViT）の性能はどのように比較されるか？
• RQ3 この低リソースで高変動性のある動物の感情認識タスクにおいて、自己教師あり事前学習（DINO）は教師あり事前学習（ImageNet）を上回るか？
• RQ4 モデルの活性マップは、生物学的に関連する顔の領域にどの程度局所化されるか？また、DogFACSの既知のアクションユニットとどのように関連するか？
• RQ5 Eigen-CAMのような解釈可能性技術は、モデルの予測と失敗の理由を解釈可能なインサイトを提供できるか？科学的検証を支援するか？

主な発見

• DINO-ViTは、全テストバックボーンの中で最高の分類正確度を達成し、ResNetおよびImageNet事前学習済みViTを上回った。
• 自己教師あり事前学習（DINO）は、教師あり事前学習（ImageNet）よりも顕著に優れた性能を示し、微細な顔の動きを捉える際に特に優位であった。
• ViTベースのモデルは、ResNetに比べて顔の顕著な領域（目、耳、鼻）への注目度が優れており、より局所化された注目パターンを示した。一方、ResNetは広範かつ焦点がぼけた活性マップを示した。
• Eigen-CAMの可視化により、DINO-ViTは複数の顔の主要領域を同時に活性化しており、人間によるアノテーション済みのDogFACSアクションユニットと整合した。
• DINO-ViTは、行動的に関連する特徴に一貫して注目しており、オブジェクトの部分や感情に関連する顔の動きに敏感な特徴を学習していることが示された。
• Eigen-CAMは、クラスに依存しない性質を有するため、誤った予測時でも解釈可能であり、失敗モードや特徴の関連性の分析を可能にした。