[論文レビュー] Automatic Recognition of Deceptive Facial Expressions of Emotion.

Ikechukwu Ofodile, Kaustubh Kulkarni+6 more|arXiv (Cornell University)|Jul 13, 2017

Deception detection and forensic psychology参考文献 3被引用数 27

ひとこと要約

本稿では、自動認識を目的とした、本物および偽の顔面表情の最初のデータセットであるSASE-FEを紹介する。本稿では、深層特徴空間におけるファイドシャル軌道に沿って特徴を統合することで、空間的・時間的表現を学習する手法を提案し、偽の表情の検出に成功した。研究結果から、偽の表情は本物の表情よりも識別が難しいことが示され、特定の感情ペアは分類がより困難であることが分かった。

ABSTRACT

Humans modify facial expressions in order to mislead observers regarding their true emotional states. Being able to recognize the authenticity of emotional displays is notoriously difficult for human observers. Evidence in experimental psychology shows that discriminative facial responses are short and subtle. This suggests that such behavior would be easier to distinguish when captured in high resolution at an increased frame rate. We are proposing SASE-FE, the first dataset of genuine and deceptive facial expressions of emotions for automatic recognition. We show that overall the problem of recognizing deceptive facial expressions can be successfully addressed by learning spatio-temporal representations of the data. For this purpose, we propose a method that aggregates features along fiducial trajectories in a deeply learnt feature space. Interesting additional results show that on average it is easier to distinguish among genuine expressions than deceptive ones and that certain emotion pairs are more difficult to distinguish than others.

研究の動機と目的

• 本物の顔面表情とは異なり、微細で短時間にとどまるため、人間が検出することが難しい偽の顔面表情を認識するという課題に対処すること。
• 高解像度・高フレームレートの動画データを用いて、感情の偽装を自動認識するためのデータ駆動型アプローチを開発すること。
• 感情の本物および偽の顔面表情を含む、新しいベンチマークデータセットSASE-FEを構築し、感情認識計算分野における研究を促進すること。
• さまざまな感情において、本物の表情と偽の表情を区別する相対的な難易度を調査すること。
• 空間的・時間的モデリングによる顔面ダイナミクスの認識性能が、静的または時間的要因のみに依存するアプローチよりも優れているかどうかを評価すること。

提案手法

• 高解像度・高フレームレートの顔面表情動画シーケンスから特徴を抽出する深層学習フレームワークを提案する。
• ファイドシャルランドマークを用いて時間経過に伴う軌道を定義し、偽装に関連する動的顔面運動を捉える。
• これらのファイドシャル軌道に沿って特徴を統合することで、深層特徴空間における空間的・時間的パターンをモデル化する。
• 本物の感情表現と偽の感情表現を区別するための表現を最適化するために、エンドツーエンド学習を活用する。
• 特徴統合メカニズムを通じて、シアンプソン型または対照的学習戦略を暗黙的に活用し、識別能を向上させる。
• 新しく導入されたSASE-FEデータセット上でモデルを学習させ、偽装の判別表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 高解像度・高フレームレートの顔面動画から学習した空間的・時間的表現は、本物の感情表現と偽の感情表現を効果的に区別できるか？
• RQ2 偽の表情の認識性能は本物の表情の認識性能よりも顕著に低いのか。これは、偽装を検出することが本質的に難しいことを示唆しているか？
• RQ3 特定の感情ペアは他のペアよりも分類が困難であるのか。これは、偽の表情に内在する曖昧性を示唆しているのか？
• RQ4 ファイドシャル軌道に沿った特徴統合は、代替的な特徴抽出手法と比較して、偽の顔面表情の検出性能を向上させるのか？
• RQ5 提案手法の性能は、SASE-FEデータセット上でベースラインモデルと比較してどうなるか？

主な発見

• 提案手法は、高解像度動画データから判別的空間的・時間的表現を学習することで、偽の顔面表情を効果的に認識できた。
• 平均して、本物の顔面表情は偽の表情よりも識別が容易であることが示され、偽装が顔面ダイナミクスにさらなる曖昧性をもたらすことを示している。
• 特定の感情ペアは他のペアよりも識別が困難であることが分かった。これは、一部の感情が偽装の対象になりやすく、あるいは容易に混同されやすい可能性を示唆している。
• 深層特徴空間におけるファイドシャル軌道に基づく特徴統合の使用は、単純なベースラインと比較して認識性能を顕著に向上させた。
• SASE-FEデータセットは、自動偽装検出分野における新しいベンチマークを提供し、将来的な手法の再現可能な評価を可能にした。
• 結果から、高い時間分解能と詳細な顔面運動モデリングが、微細な偽装サインを検出するために不可欠であることが示された。