[論文レビュー] Facial Affective Behavior Analysis Method for 5th ABAW Competition

Shangfei Wang, Yanan Chang+6 more|arXiv (Cornell University)|Mar 16, 2023

Emotion and Mood Recognition被引用数 8

ひとこと要約

論文は5th ABAW Competition on Aff-Wild2向けに3つのタスク別モデルを構築：融合バックボーンによるVA推定、アンサンブルSub-およびMeta-分類器による表情分類、CNN/Transformerと時系列処理および focal loss を組み合わせたAU認識。

ABSTRACT

Facial affective behavior analysis is important for human-computer interaction. 5th ABAW competition includes three challenges from Aff-Wild2 database. Three common facial affective analysis tasks are involved, i.e. valence-arousal estimation, expression classification, action unit recognition. For the three challenges, we construct three different models to solve the corresponding problems to improve the results, such as data unbalance and data noise. For the experiments of three challenges, we train the models on the provided training data and validate the models on the validation data.

研究の動機と目的

• 人間とコンピュータのインタラクションで野外の表情行動を自動分析する動機づけ。
• 3つの ABAW チャレンジ（valence-arousal estimation、expression classification、action unit recognition）に対応する。
• Aff-Wild2 のデータの不均衡とノイズを扱うタスク固有のモデルを開発する。
• 提供されたトレーニング/検証セットで評価を行い、ベースラインに対する性能向上を報告する。

提案手法

• VA 推定のため：ResNet50、RegNet、EfficientNet のバックボーンからの特徴を融合する； valence/arousal の分類器の前に極性分類器を使用する； valence の特徴を arousal 分類器へ入力する； 離散ラベルの交差エントロピーと回帰には CCC ロスを用いて訓練する。
• 表情分類のため：バッグゲンアンサンブルを適用して augmented データ上で複数のサブ分類器を訓練する； Meta-分類器が事前に定められた規則と閾値で最終投票を行う； L_C = L_CE + lambda * L_Dice with focal data augmentation 策略を用いる； クラス7に対するデータ削除/処理。
• AU 認識のため：顔切り抜き/整列で前処理； ResNet-50 と RegNet バックボーンで特徴抽出； Transformer ブロックとアップ/ダウンサンプリングパイプラインで時系列モデリングを行う； 3つのパイプライン出力を融合； 不均衡を扱うため focal loss で訓練。

実験結果

リサーチクエスチョン

• RQ1 野外環境でのバックボーン融合とタスク間相関を用いた valence-arousal 推定の改善方法は？
• RQ2 データ不均衡下での表情認識においてアンサンブルとメタ分類戦略は改善をもたらすか？
• RQ3 CNN バックボーンと Transformer ベースの時系列モジュールを用いた AU 偵出の時空的手掛かりを効果的にモデル化するには？

主な発見

Method	Valence CCC	Arousal CCC
baseline	22.0	24.0
ours	25.7	38.3

• 検証データにおける Valence と arousal の CCC：ベースライン 22.0 (valence) と 24.0 (arousal)；提案法 25.7 (valence) と 38.3 (arousal)。
• 表情分類：Meta-Classifier が評価済みコンポーネントの中で最良の検証指標を達成（Acc 0.4618, F1 0.3024）。
• AU 偵出：RegNet-800MF バックボーンが検証 F1 スコア 0.6983 を最大で、RegNet-400MF (0.6813) および ResNet-50 (0.5591) を上回った。