[論文レビュー] Distract Your Attention: Multi-head Cross Attention Network for Facial Expression Recognition

Zhengyao Wen, Wenzhong Lin+2 more|arXiv (Cornell University)|Sep 15, 2021

Emotion and Mood Recognition参考文献 52被引用数 42

ひとこと要約

顔表情認識のための Distract Your Attention Network (DAN) を提案し、特徴クラスタリングネットワーク、マルチヘッド注意ネットワーク、注意融合ネットワークを組み合わせて、多様な局所の顔領域を捉え、クラスの分離を最大化します。

ABSTRACT

We present a novel facial expression recognition network, called Distract your Attention Network (DAN). Our method is based on two key observations. Firstly, multiple classes share inherently similar underlying facial appearance, and their differences could be subtle. Secondly, facial expressions exhibit themselves through multiple facial regions simultaneously, and the recognition requires a holistic approach by encoding high-order interactions among local features. To address these issues, we propose our DAN with three key components: Feature Clustering Network (FCN), Multi-head cross Attention Network (MAN), and Attention Fusion Network (AFN). The FCN extracts robust features by adopting a large-margin learning objective to maximize class separability. In addition, the MAN instantiates a number of attention heads to simultaneously attend to multiple facial areas and build attention maps on these regions. Further, the AFN distracts these attentions to multiple locations before fusing the attention maps to a comprehensive one. Extensive experiments on three public datasets (including AffectNet, RAF-DB, and SFEW 2.0) verified that the proposed method consistently achieves state-of-the-art facial expression recognition performance. Code will be made available at https://github.com/yaoing/DAN.

研究の動機と目的

• 類似した表情間の微妙な差を認識することを通じて FER の動機づけを図る。
• クラス間マージンを最大化し、クラス内分散を最小化する識別的特徴クラスタリング手法を提案する。
• 複数の顔領域に同時に着目できるマルチヘッド注意機構を開発する。
• 領域間で注意を分配し、分類のために特徴を融合する注意融合機構を組み込む。

提案手法

• Affinity loss によって、クラス中心へ特徴を引き寄せつつ中心間のマージンを広げ、クラス分離性を最大化する Feature Clustering Network (FCN)。
• 複数の並列注意ヘッドを持つ Multi-head Attention Network (MAN) は、それぞれ空間注意ユニット（マルチスケール畳み込み）とチャネル注意ユニットから成り、高次の相互作用を捉える。
• Attention Fusion Network (AFN) は、log-softmax によって注意ベクトルをスケーリングし、partition loss で非重複な注意領域を強制し、最終分類のために注意特徴を融合する。
• 全体の学習目的は affinity loss、partition loss、クロスエントロピー損失を組み合わせた L = lambda1 L_af + lambda2 L_pt + L_cls。

実験結果

リサーチクエスチョン

• RQ1 センター損失を超える識別的特徴クラスタリング目的は FER におけるクラス分離を改善できるか？
• RQ2 複数の顔領域を捉えるマルチヘッド注意アーキテクチャは、単一ヘッド注意と比べて FER 精度を改善するか？
• RQ3 注意融合機構は多様で非重複な注意を促し、最終分類を改善するか？
• RQ4 提案された損失が標準 FER ベンチマークでの性能に与える影響は？

主な発見

• DAN は AffectNet-8 で 62.09%、AffectNet-7 で 65.69% を達成し、いくつかの従来手法を上回る。
• DAN は RAF-DB で 89.70% を達成し、このデータセットの最先端結果となる。
• DAN は SFEW 2.0 で 53.18% に達し、小規模データセットで競争力のある性能を示す。
• アブレーションにより、affinity loss と partition loss の双方が性能向上に寄与することが示された。
• 4 つの注意ヘッドは、ヘッド数を減らした場合と比較して RAF-DB で精度を最大化する。