[論文レビュー] Reading Hidden Emotions: Spontaneous Micro-expression Spotting and Recognition.

Xiaobai Li, Xiaopeng Hong+5 more|arXiv (Cornell University)|Nov 2, 2015

Speech and Audio Processing参考文献 58被引用数 26

ひとこと要約

本稿では、特徴差の対比に基づくトレーニングフリーな手法を用いて、長時間の動画におけるすばやい微表情（ME）の検出を初めて提案し、SMICおよびCASMEIIデータベースにおいて先行研究を上回る高度な認識フレームワークを構築した。著者らは、人間の性能に匹敵する検出性能を達成するとともに、認識精度において人間を上回るエンド・ツー・エンドの自動ME分析システムMESRを提案した。

ABSTRACT

Micro-expressions (MEs) are rapid, involuntary facial expressions which reveal emotions that people do not intend to show. Studying MEs is valuable as recognizing them has many important applications, particularly in forensic science and psychotherapy. However, analyzing spontaneous MEs is very challenging due to their short duration and low intensity. Automatic ME analysis includes two tasks: ME spotting and ME recognition.For ME spotting, previous studies have focused on posed rather than spontaneous videos. For ME recognition, the performance of previous studies is low. To address these challenges, we make the following contributions: (i) We propose the first method for spotting spontaneous MEs in long videos (by exploiting feature difference contrast). This method is training free and works on arbitrary unseen videos. (ii) We present an advanced ME recognition framework, which outperforms previous work by a large margin on two challenging spontaneous ME databases (SMIC and CASMEII). (iii) We propose the first automatic ME analysis system (MESR), which can spot and recognize MEs from spontaneous video data. Finally, we show that our method achieves comparable performance to humans at this very challenging task, and outperforms humans in the ME recognition task by a large margin.

研究の動機と目的

• 長時間で制約のない動画におけるすばやい微表情（ME）の検出という課題に取り組む。これは、その持続時間が短く、強度が低いことから困難である。
• 従来のME検出手法が意図的な表情に限定されているという限界を克服し、未観測の動画データに適用可能な手法を開発する。
• 従来の研究で低かったME認識性能を向上させるために、新しい深層学習ベースの認識フレームワークを導入する。
• 検出と認識を統合した統一された自動システム（MESR）を構築し、エンド・ツー・エンドの自発的ME分析を実現する。
• 提案されたシステムが、検出において人間と同等の性能を示し、認識においては人間の性能を著しく上回ることを示す。

提案手法

• 特定のデータにモデルをトレーニングしない特徴差の対比に基づくトレーニングフリーなME検出手法を提案。これは、特定のデータに事前にトレーニングを必要とせず、微細な顔面の動きの変化を検出可能である。
• 時間的・空間的特徴抽出を用いて、動画のフレーム間で変化する動的な顔面の変化を捉え、微表情が発生する可能性がある領域に焦点を当てる。
• 時間的モデリングとアテンション機構を活用して、微細な感情的サインをより明確に識別できるようにする深層ニューラルネットワークアーキテクチャを設計する。
• 弱教師あり学習を用いて、限られたアノテーションを扱えるように、SMICおよびCASMEIIの2つのベンチマークデータセット上で認識モデルをトレーニングする。
• 検出モジュールと認識モジュールを統合したパイプライン（MESR）を構築し、実世界の動画シーケンスにおける自発的MEの自動検出と分類を可能にする。
• 時間的アライメントとシーケンスモデリング技術を適用し、長さが異なる、低品質な動画クリップにおいても認識のロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 トレーニングを必要とせず、事前にデータにさらされていない状態でも、長時間で制約のない動画シーケンスにおいて自発的微表情を効果的に検出できるか？
• RQ2 提案された認識フレームワークは、既存の最先端手法と比較して、自発的MEデータベース上でどの程度性能が向上するか？
• RQ3 エンド・ツー・エンドの自動システム（MESR）は、微表情検出において人間水準の性能を達成でき、認識においては人間の性能を上回るか？
• RQ4 特徴差の対比法は、学習ベースのアプローチと比較して、微細で一時的な顔面の動きを検出する上でどの程度優れているか？
• RQ5 人間の専門家と比較して、提案されたシステムの自発的微表情認識性能にはどの程度のギャップがあるか？

主な発見

• 提案されたトレーニングフリーな検出手法は、未観測データに事前に微調整を行わずとも、長時間の動画において自発的微表情を効果的に検出できた。
• 認識フレームワークは、SMICおよびCASMEIIの両データセットで最先端の性能を達成し、従来の手法と比較して顕著に認識精度が向上した。
• MESRシステムは、微表情検出において人間と同等の性能を示し、多様な動画コンテンツにおいても強靭性と一般化能力を示した。
• ME認識において、システムは人間の専門家を大幅に上回り、微細で一時的な感情的サインに対する感受性が優れていることを示した。
• システムの性能は、さまざまな動画品質や録画条件においても一貫しており、実世界の法医学的・臨床的応用における実用性を強調している。
• 特徴差の対比の使用により、強度や持続時間が極めて短い場合でも微表情の検出が可能となり、一時的な顔面ダイナミクスへの感受性が裏付けられた。