[論文レビュー] An Overview of Facial Micro-Expression Analysis: Data, Methodology and Challenge

Xie Hong-xia, Ling Lo+2 more|arXiv (Cornell University)|Dec 21, 2020

Emotion and Mood Recognition被引用数 9

ひとこと要約

本サーベイは、顔のマイクロエクスプレッション認識（MER）について、データソース、手法、および主な課題を網羅的に概説する。マクロからマイクロへの適応、アプローチフレームベースの認識、アクションユニット（AU）ベースの分析といった新規アプローチを導入するとともに、合成データ生成によってデータ不足を緩和し、マイクロエクスプレッションスポットティング分野における最近の進展を強調する。本研究では、データセットバイアス、顔の非対称性、社会的グループバイアスといった重要な問題を指摘し、マルチモーダル統合と頑健な特徴学習の分野における今後の研究方向性を提示する。

ABSTRACT

Facial micro-expressions indicate brief and subtle facial movements that appear during emotional communication. In comparison to macro-expressions, micro-expressions are more challenging to be analyzed due to the short span of time and the fine-grained changes. In recent years, micro-expression recognition (MER) has drawn much attention because it can benefit a wide range of applications, e.g. police interrogation, clinical diagnosis, depression analysis, and business negotiation. In this survey, we offer a fresh overview to discuss new research directions and challenges these days for MER tasks. For example, we review MER approaches from three novel aspects: macro-to-micro adaptation, recognition based on key apex frames, and recognition based on facial action units. Moreover, to mitigate the problem of limited and biased ME data, synthetic data generation is surveyed for the diversity enrichment of micro-expression data. Since micro-expression spotting can boost micro-expression analysis, the state-of-the-art spotting works are also introduced in this paper. At last, we discuss the challenges in MER research and provide potential solutions as well as possible directions for further investigation.

研究の動機と目的

• 顔のマイクロエクスプレッション認識（MER）技術における最近の進展を包括的にレビューすること。
• 限られたデータセットやバイアスがかかるデータセット、顔の非対称性、社会的グループバイアスといったMERにおける主要な課題を特定・分析すること。
• マクロからマイクロへの適応、アプローチフレーム認識、AUベースの分析といった新規な手法的アプローチを検討すること。
• 合成データ生成の役割が、MERデータセットにおけるデータ不足の緩和と多様性の向上にどのように寄与するかを検討すること。
• マイクロジェスチャーおよび生理的信号を含むマルチモーダル統合の可能性を調査し、感情認識の強化を図ること。

提案手法

• CASME II、SAMM、SMIC VIS、HSといった既存のMERデータセットを体系的にレビューし、データ品質、解像度、フレームレート、アノテーション基準に注目する。
• マクロからマイクロへの適応、キーフレーム（アプローチフレーム）に基づく認識、AUベースの認識の3つの新興的手法的パラダイムを分析し、検出感度の向上を図る。
• ディープラーニングベースのモデルとハイブリッドアプローチ（ファジークラスファイアー、重み付きファジークラスファイアーなど）を評価し、感情ラベリングの曖昧性に対処する。
• トレーニングデータの豊かさを高め、アノテーションの負担とラベルノイズを低減するための合成データ生成技術を調査する。
• 制約のない動画シーケンスにおいてエンドツーエンドの検出と認識を可能にするマイクロエクスプレッションスポットティング技術を検討する。
• マイクロジェスチャー、音声、生理的信号（例：EDA、ECG）といったマルチモーダルな手がかりの統合を提案し、認識の頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マクロからマイクロへの適応は、マイクロエクスプレッション認識モデルの転送性と正確性をどのように向上させるか？
• RQ2 アプローチフレームは、短時間にわたるマイクロエクスプレッションの検出をどのように強化するか？
• RQ3 アクションユニット（AU）検出は、MERシステムの解釈可能性と正確性をどの程度向上させるか？
• RQ4 合成データ生成手法は、マイクロエクスプレッションデータセットにおけるデータ不足とバイアスを緩和するためにどの程度効果的か？
• RQ5 顔の非対称性および社会的グループバイアス（例：イングループの不利）はMERのパフォーマンスにどのような影響を及ぼし、どのように是正できるか？

主な発見

• 中国の被験者においてイングループ不利が観察された。METTトレーニング後でも、白人（アウトグループ）のターゲットの方がアジア人（イングループ）のターゲットよりも認識精度が高かった。
• 感情表現における左右非対称性（フェイシャルキラリティ）は、十分な判別特徴を含んでいる可能性があるが、現時点では多くのMERシステムがこの現象を活用していない。
• 合成データ生成は、希少または代表されていない表現のデータセットを豊かにし、ラベル付けコストを低減する点で有望である。
• マイクロエクスプレッションスポットティング技術は著しく進展しており、MEGC2020 や MER2020 といった最近のコンテストで高いF1スコアが報告されている。
• マイクロジェスチャーおよび生理的信号（例：EDA、ECG）を含むマルチモーダル統合は、感情認識を向上させることができ、3,692個のラベル付きクリップを含むマイクロジェスチャーデータセットの公開によって実証された。
• ラベルノイズとアノテーションの一貫性の欠如は、特に自発的なマイクロエクスプレッションデータにおいて、主観的ラベリングの影響から依然として深刻な問題である。