[論文レビュー] Facial Expression Recognition based on Multi-head Cross Attention Network

Jae-Yeop Jeong, Yeong-Gi Hong+3 more|arXiv (Cornell University)|Mar 24, 2022

Emotion and Mood Recognition被引用数 8

ひとこと要約

本論文は、ResNet-50特徴量とアテンションメカニズムを活用して、屋外環境における顔の感情認識の性能を向上させるために、マルチヘッドクロスアテンションを組み込んだ強化されたディープアグリゲーションネットワーク（DAN）を提案する。データ拡張、外部データセット、ソフト投票アンサンブル戦略を用いることで、ABAW 2022の検証セットにおいて、VA推定で平均CCCが0.44、感情分類で平均F1スコアが0.33を達成した。

ABSTRACT

Facial expression in-the-wild is essential for various interactive computing domains. In this paper, we proposed an extended version of DAN model to address the VA estimation and facial expression challenges introduced in ABAW 2022. Our method produced preliminary results of 0.44 of mean CCC value for the VA estimation task, and 0.33 of the average F1 score for the expression classification task.

研究の動機と目的

• 制御のない、屋外の動画環境における顔の感情認識の課題に対処すること。
• ABAW 2022コンテストにおけるValence-Arousal（VA）推定および感情分類タスクのパフォーマンスを向上させること。
• データ拡張と外部データベースを用いて、顔の感情データセットにおけるクラス不均衡を緩和すること。
• 空間的およびチャネルアテンションを組み合わせたマルチヘッドクロスアテンションメカニズムを用いて、特徴表現を強化すること。
• アテンション統合とファーコンスロスを統合した、分類および回帰性能を向上させるロバストなモデルアーキテクチャの開発

提案手法

• VGGFace2で事前学習されたResNet-50バックボーンを用いて視覚的特徴抽出を行い、クラス間マージンを最大化するためのアフィニティ損失を適用した。
• 空間的およびチャネルアテンションユニットを統合したマルチヘッドクロスアテンションモジュールを導入し、動的アテンションマップを生成した。
• アテンションマップの調整と最適化を実現するためのアテンション統合ネットワークを適用した。
• 複数のモデルバージョンを訓練し、検証時に予測を統合することで、ソフト投票アンサンブル戦略を採用した。
• 過学習を軽減するため、色のジャマ、ランダムクロップ、水平反転などのデータ拡張技術を適用した。
• Aff-Wild2に加えて、AffectNet、ExpW、Ai-Hubの外部データセットを統合し、重複する感情カテゴリに焦点を当ててクラス不均衡の緩和を図った。

実験結果

リサーチクエスチョン

• RQ1 アテンションメカニズムは、屋外環境における顔の感情認識のための特徴表現をどのように改善できるか？
• RQ2 複数の屋外データセットを組み合わせることで、感情認識におけるクラス不均衡はどの程度緩和されるか？
• RQ3 マルチヘッドクロスアテンションメカニズムは、VA推定および感情分類の両タスクでパフォーマンスを向上させられるか？
• RQ4 ソフト投票アンサンブル戦略は、ABAW 2022ベンチマークにおける一般化性能を向上させるのにどの程度効果的か？
• RQ5 リソースが限られた顔の感情認識環境において、アテンションベースの特徴精錬はどの程度のパフォーマンス向上をもたらすか？

主な発見

• 提案手法は、公式のABAW 2022検証セットを用いて、VA推定タスクで平均CCCが0.44を達成した。
• 感情分類タスクでは平均F1スコアが0.33を記録し、8つの感情カテゴリにおいて中程度のパフォーマンスを示した。
• AffectNet、ExpW、Ai-Hubなどの外部データセットの統合により、特に希少な感情に対してクラス不均衡が緩和された。
• ランダムクロップ、水平反転、色のジャマなどのデータ拡張技術により、モデルの一般化性能が向上し、過学習が軽減された。
• 空間的およびチャネルアテンションユニットを組み合わせたマルチヘッドクロスアテンションの活用により、特徴の識別能とモデルのロバスト性が向上した。
• ソフト投票アンサンブルアプローチにより、検証セットにおける安定性とパフォーマンスが向上したが、最終成績はさらなる提出により更新される可能性がある。