[論文レビュー] Multi-label Relation Modeling in Facial Action Units Detection

Xianpeng Ji, Yu Ding+3 more|arXiv (Cornell University)|Feb 4, 2020

Emotion and Mood Recognition参考文献 7被引用数 4

ひとこと要約

本論文では、統合された静的テクスチャ特徴量と動的ランドマーク特徴量を用いた、顔面のアクションユニット（AU）検出のためのマルチラベル関係モデリング手法を提案する。再帰的分類フレームワーク内で、GRUに基づく特徴抽出ネットワークとクエリ学習型AU埋め込みテーブルを組み合わせることで、Aff-Wild2データセット上で検証F1加重精度0.56を達成し、共起するAUsを順序パターンとして効果的にモデル化した。

ABSTRACT

This paper describes an approach to the facial action units detections. The involved action units (AU) include AU1 (Inner Brow Raiser), AU2 (Outer Brow Raiser), AU4 (Brow Lowerer), AU6 (Cheek Raise), AU12 (Lip Corner Puller), AU15 (Lip Corner Depressor), AU20 (Lip Stretcher), and AU25 (Lip Part). Our work relies on the dataset released by the FG-2020 Competition: Affective Behavior Analysis In-the-Wild (ABAW). The proposed method consists of the data preprocessing, the feature extraction and the AU classification. The data preprocessing includes the detection of face texture and landmarks. The texture static and landmark dynamic features are extracted through neural networks and then fused as the feature latent representation. Finally, the fused feature is taken as the initial hidden state of a recurrent neural network with a trainable lookup AU table. The output of the RNN is the results of AU classification. The detected accuracy is evaluated with 0.5$ imes$accuracy + 0.5$ imes$F1. Our method achieve 0.56 with the validation data that is specified by the organization committee.

研究の動機と目的

• 共起するAUsを順序パターンとしてモデル化することで、顔面アクションユニット検出の性能を向上させること。
• 静的テクスチャ特徴量と動的ランドマークに基づく運動特徴量を統合することで、特徴表現を強化すること。
• 複数のラベルにわたるAU存在の共同学習を可能にする、学習可能なAU埋め込み照合メカニズムを開発すること。
• 現実的で制約のない動画データにおけるマルチラベル・マルチクラスのAU検出の課題に対処すること。
• 後処理スムージングを伴うエンドツーエンド学習により、AffectNetおよびAff-Wild2データセットで頑健な性能を達成すること。

提案手法

• 事前学習済みの顔セマンティックセグメンテーションモデルが顔領域を抽出し、背景をマスクした後、グレースケール画像およびエッジ画像に変換してテクスチャ特徴量を抽出する。
• グレースケール画像とエッジ画像を処理する二入力CNNが局所的なAU領域相関を捉え、最終特徴マップをGRUに渡してグローバルなテクスチャコンテキストをモデル化する。
• 隣接する時間フレーム間の顔ランドマークの差分から動的特徴量を抽出し、スケールを正規化するためのTanh活性化関数を用いた全結合ネットワークを用いる。
• 静的特徴量と動的特徴量を連結することで、AU分類用の統合された潜在表現を形成する。
• クエリベースのGRUネットワークが、学習可能なAU埋め込み（8×64行列）をクエリとして用い、各AUに対して反復的に分類を行う。GRU状態は各AUクエリごとに更新される。
• 最終的なバイナリ分類器（ソフトマックス）が、各AUのGRU出力をもとにAU活性化を予測し、共同最適化でエンドツーエンドに学習される。

実験結果

リサーチクエスチョン

• RQ1 静的および動的顔特徴量をどのように効果的に統合することで、マルチラベルAU検出の性能を向上させられるか？
• RQ2 AUの共起を順序的プロセスとしてモデル化することで、顔の表情分析における分類性能が向上するか？
• RQ3 学習可能なAU埋め込みテーブルが、弱教師あり設定におけるマルチラベル分類にどの程度寄与するか？
• RQ4 ランドマークの運動特徴量とテクスチャ特徴量の統合が、制約のない動画データにおけるロバストネスに与える影響は何か？
• RQ5 標準的なマルチラベル分類ヘッドと比較して、再帰的クエリメカニズムを用いることでどの程度の性能向上が得られるか？

主な発見

• 本手法は、0.5×精度 + 0.5×F1の組み合わせ指標を用いた検証スコア0.56を、Aff-Wild2データセットで達成した。
• グレースケール画像およびエッジ画像からの静的テクスチャ特徴量と、ランドマーク差分からの動的運動特徴量の統合が、AU検出のロバストネスを向上させた。
• クエリベースのGRUを用いた学習可能なAU埋め込みテーブルにより、マルチラベルAU共起パターンの効果的なモデル化が可能になった。
• ハイパーパramータチューニングと後処理スムージングを伴うエンドツーエンド学習フレームワークにより、一貫した性能向上が得られた。
• 本手法は、特に共起するAUs（AU1、AU2、AU4など）に対して、現実的で制約のない顔動画データにおいて優れた一般化性能を示した。
• AU埋め込みの再帰的順序処理により、予測の反復的精錬が可能となり、微細で重複する顔面行動の検出が向上した。