[論文レビュー] Multi-modal Multi-label Facial Action Unit Detection with Transformer

Lingfeng Wang, Shisen Wang+1 more|arXiv (Cornell University)|Mar 24, 2022

Emotion and Mood Recognition被引用数 10

ひとこと要約

本論文は、視覚・音声トランスフォーマーのフレームワークを用い、特筆すべきトランスフォーマー基盤のAU相関モジュールを備えたマルチモーダルでマルチラベルな顔面のアクションユニット（AU）検出モデルを提案する。空間的・時間的視覚特徴と音声特徴を統合的にモデリングし、AU間の依存関係を明示的に表現することで、ABAW 2022の検証セットでF1スコア0.518を達成し、ベースラインを上回った性能を発揮した。

ABSTRACT

Facial Action Coding System is an important approach of facial expression analysis.This paper describes our submission to the third Affective Behavior Analysis (ABAW) 2022 competition. We proposed a transfomer based model to detect facial action unit (FAU) in video. To be specific, we firstly trained a multi-modal model to extract both audio and visual feature. After that, we proposed a action units correlation module to learn relationships between each action unit labels and refine action unit detection result. Experimental results on validation dataset shows that our method achieves better performance than baseline model, which verifies that the effectiveness of proposed network.

研究の動機と目的

• マルチモーダル（視覚および音声）入力を活用することで、野生環境下におけるマルチラベル顔面アクションユニット検出の性能を向上させること。
• 各AUラベルの不均衡を是正するため、重み付きバイナリクロスエントロピー損失を用いること。
• アクションユニットラベル間の相関関係をモデリングすることで、性能を向上させること。
• トランスフォーマーを用いたスパatiotemporal特徴抽出のための、統合的視覚・音声表現学習フレームワークを構築すること。
• 提案された相関モジュールが、マルチラベルAU予測の精緻化に果たす有効性を検証すること。

提案手法

• 空間的・時間的トランスフォーマー（ST-Former）を用いて、顔領域のスプライス・タイムスタンプ特徴を抽出し、畳み込み的空間トランスフォーマーと時間エンコーダーを統合する。
• 別個のResNet-18ベースのモデルが、音声メルスペクトログラムを処理し、聴覚的特徴を抽出する。
• AU相関モジュールは、12個の独立した全結合ブランチからの特徴を用いて、12個のAUラベル間の関係をトランスフォーマー・エンコーダーでモデリングする。
• 視覚および音声ブランチからの特徴を連結し、相関モジュールを経て、統合的AU予測を実行する。
• クラス重みが各AUの正例頻度の逆数に比例するように、重み付きバイナリクロスエントロピー損失を用いてモデルを訓練する。
• 訓練は段階的に行われる：まず視覚バックボーンを事前学習し、その後音声および相関モジュールを統合して微調整する。

実験結果

リサーチクエスチョン

• RQ1 視覚および音声入力を統合したマルチモーダルトランスフォーマー・モデルは、単一モーダルベースラインに比べ、AU検出性能を向上させることができるか？
• RQ2 トランスフォーマー基盤のモジュールを用いてAU間の相関関係を明示的にモデリングすることで、マルチラベルAU検出の精度が向上するか？
• RQ3 提案された空間的・時間的トランスフォーマーは、顔面シーケンスにおける長距離の時間的および空間的依存関係を効果的に捉えられるか？
• RQ4 重み付きバイナリクロスエントロピー損失は、AU検出におけるクラス不均衡問題をどの程度是正できるか？
• RQ5 音声、視覚、相関モジュールの各コンポーネントが、Aff-Wild2検証セットにおける最終性能にどの程度寄与しているか？

主な発見

• 提案された統合的聴覚的・視覚的モデルは、公式なABAW 2022検証セットでF1スコア0.518を達成し、競合ベースライン（0.39）を著しく上回った。
• AU相関モジュールは、視覚ブランチに適用した場合にF1スコアを0.21ポイント向上させ、音声ブランチに適用した場合にも0.22ポイント向上させた。
• 視覚ブランチに時間的トランスフォーマーを導入することで、空間のみのモデルと比較してF1スコアが0.21ポイント向上した。
• 視覚的空間的・時間的モデル単体でもF1スコア0.501を達成し、スパティオトランスフォーマルモデリングの有効性を示した。
• 音声ブランチ単体でもF1スコア0.344を達成し、音声がAU検出に有意義に寄与していることを示した。
• アブレーションスタディの結果、音声、視覚、相関モジュールの各コンポーネントが、最終的な性能向上に加法的に寄与していることが確認された。