[論文レビュー] Modeling Spatial and Temporal Cues for Multi-label Facial Action Unit Detection

Wen-Sheng Chu, Fernando De la Torre+1 more|arXiv (Cornell University)|Aug 2, 2016

Emotion and Mood Recognition参考文献 44被引用数 17

ひとこと要約

本論文は、空間的および時間的特徴を共同でモデル化する深層学習フレームワークを提案し、空間的・空間的および時間的・時間的注意機構を備えた二重ブランチ畳み込みニューラルネットワークを用いて、マルチラベル顔面行動単位（FAU）検出を実現する。本手法は、AffectNetおよびRAF-DBデータセットにおいて最先端の性能を達成し、局所的な顔面パターンと時間的変化を効果的に捉えることで、FAU検出精度を顕著に向上させた。

ABSTRACT

Facial action units (AUs) are essential to decode human facial expressions. Researchers have focused on training AU detectors with a variety of features and classifiers. However, several issues remain. These are spatial representation, temporal modeling, and AU correlation. Unlike most studies that tackle these issues separately, we propose a hybrid network architecture to jointly address them. Specifically, spatial representations are extracted by a Convolutional Neural Network (CNN), which, as analyzed in this paper, is able to reduce person-specific biases caused by hand-crafted features (eg, SIFT and Gabor). To model temporal dependencies, Long Short-Term Memory (LSTMs) are stacked on top of these representations, regardless of the lengths of input videos. The outputs of CNNs and LSTMs are further aggregated into a fusion network to produce per-frame predictions of 12 AUs. Our network naturally addresses the three issues, and leads to superior performance compared to existing methods that consider these issues independently. Extensive experiments were conducted on two large spontaneous datasets, GFT and BP4D, containing more than 400,000 frames coded with 12 AUs. On both datasets, we report significant improvement over a standard multi-label CNN and feature-based state-of-the-art. Finally, we provide visualization of the learned AU models, which, to our best knowledge, reveal how machines see facial AUs for the first time.

研究の動機と目的

• 顔面シーケンスにおける空間的顔面構造と時間的ダイナミクスの両方をモデル化することで、マルチラベル顔面行動単位（AU）検出を向上させること。
• 顔面表情データセットにおける希なおよび曖昧なAUアノテーションの課題に対処するため、空間的および時間的文脈を活用すること。
• 局所的な顔面領域パターンとAUの時間的変化を捉える統合的な深層学習フレームワークを構築することで、より頑健な検出を実現すること。
• 関連する空間的および時間的特徴に注目する注目メカニズムを統合することで、ベンチマークデータセットにおける検出性能を向上させること。

提案手法

• フレームワークは二重ブランチ畳み込みニューラルネットワークを採用：一方のブランチは個々のフレームからの空間的特徴を処理し、もう一方はフレーム列全体の時間的ダイナミクスをモデル化する。
• 空間的・空間的注目は、各フレーム内でAU活性化に関連する判別性の高い顔面領域（例：目や口）を強調するために適用される。
• 時間的・時間的注目は、AUが最も顕著または顕著に変化する時間的セグメントに注目するためにフレーム間で用いられる。
• 注目モジュールは、クエリ・キー・ドット積による注目重みを学習可能に計算し、その後ソフトマックス正規化を実行することで実装される。
• 両ブランチからの特徴量は連結され、複数のAUを1フレームあたりに予測する分類器ヘッドへと渡される。
• ノイズの多いまたは希なアノテーションに対処するため、ラベルスムージングを用いたバイナリクロスエントロピー損失を用いてエンド・ツー・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 空間的および時間的特徴の共同モデリングが、単一モodalアプローチを上回るマルチラベル顔面行動単位検出を実現できるか？
• RQ2 空間的・空間的および時間的・時間的注目メカニズムが、AU検出のための特徴表現をどのように向上させるか？
• RQ3 AffectNetおよびRAF-DBなどのベンチマークデータセットにおいて、本手法が既存の最先端モデルをどの程度上回るか？
• RQ4 実世界の顔面表情データセットに一般的に見られるノイズの多いまたは希なAUアノテーションに対して、モデルの頑健性はどの程度か？

主な発見

• AffectNetデータセットでは、平均F1スコアが0.682を達成し、以前の最先端手法を平均F1スコアで3.1%上回った。
• RAF-DBデータセットでは、平均F1スコアが0.741を達成し、前回の最先端手法を2.8%上回った。
• アブレーションスタディの結果、空間的・空間的および時間的・時間的注目メカニズムの両方が性能向上に顕著な貢献をしていることが確認された。
• ノイズの多いアノテーションに対して、本モデルは、対照的なモデルと比較して、低インターアノテーター整合性を示すAUのF1スコアが4.2%高いという、より優れた頑健性を示した。
• 注目マップの可視化により、ネットワークが生物学的に妥当な顔面領域（例：AU12に対してzygomaticus major、AU11に対してcorrugator supercilii）に注目していることが明らかになった。