[論文レビュー] Variable-state Latent Conditional Random Fields for Facial Expression Recognition and Action Unit Detection

Robert Walecki, Ognjen Rudovic+2 more|arXiv (Cornell University)|Oct 13, 2015

Emotion and Mood Recognition参考文献 5被引用数 5

ひとこと要約

本稿では、顔の感情認識およびアクションユニット（AU）検出のための動的潜在状態選択を可能にする、新たなモデルである可変状態潜在条件付き確率的先行法（VSL-CRF）を提案する。このモデルは、シーケンス固有のダイナミクスに基づき、名目的または順序的潜在状態の間で動的に切り替える。グラフ・ラプラシアンの事後正則化を組み込むことで、従来のL-CRFと比較して汎化性能が向上し、CK+、GEMEP-FERA、DISFAの各データセットにおいて、感情認識およびフレーム単位のAU検出の両面で最先端の性能を達成した。

ABSTRACT

Automated recognition of facial expressions of emotions, and detection of facial action units (AUs), from videos depends critically on modeling of their dynamics. These dynamics are characterized by changes in temporal phases (onset-apex-offset) and intensity of emotion expressions and AUs, the appearance of which may vary considerably among target subjects, making the recognition/detection task very challenging. The state-of-the-art Latent Conditional Random Fields (L-CRF) framework allows one to efficiently encode these dynamics through the latent states accounting for the temporal consistency in emotion expression and ordinal relationships between its intensity levels, these latent states are typically assumed to be either unordered (nominal) or fully ordered (ordinal). Yet, such an approach is often too restrictive. For instance, in the case of AU detection, the goal is to discriminate between the segments of an image sequence in which this AU is active or inactive. While the sequence segments containing activation of the target AU may better be described using ordinal latent states, the inactive segments better be described using unordered (nominal) latent states, as no assumption can be made about their underlying structure (since they can contain either neutral faces or activations of non-target AUs). To address this, we propose the variable-state L-CRF (VSL-CRF) model that automatically selects the optimal latent states for the target image sequence. To reduce the model overfitting either the nominal or ordinal latent states, we propose a novel graph-Laplacian regularization of the latent states. Our experiments on three public expression databases show that the proposed model achieves better generalization performance compared to traditional L-CRFs and other related state-of-the-art models.

研究の動機と目的

• 既存の潜在CRFモデルにおける固定された潜在状態構造（名目的または順序的）の制限を解消すること。
• データ駆動的に各シーケンスごとに最適な潜在状態タイプ（名目的または順序的）を選択可能とし、多様な表情ダイナミクスのモデリングを向上させること。
• 潜在状態に対するグラフ・ラプラシアン正則化を導入することで、過学習を低減し、モデルのロバスト性を向上させること。
• 最先端のモデルと比較して、シーケンスベースの顔の感情認識およびフレーム単位のAU検出において優れた性能を達成すること。
• 顔の表情の時間的ダイナミクスに適応することで、多様なデータセット間でのより良い汎化性能を実現すること。

提案手法

• 入力シーケンスごとにデータ駆動的に最適化された潜在状態タイプ（名目的または順序的）を選択可能な、可変状態潜在条件付き確率的先行法（VSL-CRF）を提案する。
• 潜在状態表現を制約する新しいグラフ・ラプラシアン正則化を導入し、滑らかさを促進し、名目的または順序的構造への過学習を低減する。
• 学習戦略を3つ採用する（VSLm、VSLd、VSLem）；訓練中に潜在状態タイプの最適化方法が異なり、VSLemが最も優れた性能を示した。
• EMに類似した最適化を事後正則化とともに実施し、各シーケンスに対して名目的または順序的状態の選択を促進することで、収束性と汎化性能を向上させる。
• 抽出された画像特徴を用いて動画シーケンスをモデル化し、開始・ピーク・終了フェーズや強度変動を潜在状態が符号化する。
• アクションユニット検出のゴールドスタンダードとして顔の筋肉活動パターンの正確なモデリングを可能にする、顔の行動コード化システム（FACS）を活用する。

実験結果

リサーチクエスチョン

• RQ1 潜在CRFモデルが、顔の表情およびAUの時間的ダイナミクスをよりよく捉えるために、名目的または順序的潜在状態を動的に選択可能か？
• RQ2 グラフ・ラプラシアン制約を用いた事後正則化は、顔の表情およびAU検出タスクにおける汎化性能を向上させるか？
• RQ3 VSL-CRFの性能は、従来のL-CRFおよび最先端モデルと比較して、多様な顔の表情データセットでどのように異なるか？
• RQ4 各シーケンスごとに潜在状態構造を適応可能にすることで、微細なまたは強度が変動する表情の認識がどの程度向上するか？
• RQ5 統一されたフレームワークを用いて、感情認識とフレーム単位のAU検出の両方を効果的に処理できるか？

主な発見

• VSL-CRFモデルは、顔の感情認識においてCK+データセットで最先端の性能を達成し、従来のL-CRFおよび他のSOTAモデルを上回った。
• GEMEP-FERAデータセットでは、事後正則化を適用したVSL-CRFが、フレーム単位のAU検出で69.5%のF1スコアを達成し、ベースラインモデルより1.6ポイント向上した。
• DISFAデータセットでは、VSL-CRFモデルがAU検出で平均68.7%のF1スコアを達成し、多様なデータ分布にわたる強い汎化性能を示した。
• 事後正則化はモデルのロバスト性を顕著に向上させ、CK+データセットにおけるF1-シーケンスベースの測定値を67.9%から69.5%に向上させた。
• モデルは、喜びの感情が強く順序的構造を示すのを学習した一方で、他の感情は名目的状態でより適切にモデリングされることを確認し、潜在状態選択メカニズムの適応性を裏付けた。
• クロスデータセット評価では性能が著しく低下（例：GEMEP-FERAで60.2%から39.2%に低下）したが、これはデータセット固有のモデリングの重要性と、モデルが分布シフトに適応できる能力を示している。