[논문 리뷰] Distract Your Attention: Multi-head Cross Attention Network for Facial Expression Recognition

Zhengyao Wen, Wenzhong Lin외 2명|arXiv (Cornell University)|2021. 09. 15.

Emotion and Mood Recognition참고 문헌 52인용 수 42

한 줄 요약

얼굴 표정 인식을 위한 Distract Your Attention Network (DAN)을 제안하고, 다양한 로컬 얼굴 영역을 포착하고 클래스 구분성을 극대화하기 위해 Feature Clustering Network, Multi-head Attention Network, Attention Fusion Network를 결합한다.

ABSTRACT

We present a novel facial expression recognition network, called Distract your Attention Network (DAN). Our method is based on two key observations. Firstly, multiple classes share inherently similar underlying facial appearance, and their differences could be subtle. Secondly, facial expressions exhibit themselves through multiple facial regions simultaneously, and the recognition requires a holistic approach by encoding high-order interactions among local features. To address these issues, we propose our DAN with three key components: Feature Clustering Network (FCN), Multi-head cross Attention Network (MAN), and Attention Fusion Network (AFN). The FCN extracts robust features by adopting a large-margin learning objective to maximize class separability. In addition, the MAN instantiates a number of attention heads to simultaneously attend to multiple facial areas and build attention maps on these regions. Further, the AFN distracts these attentions to multiple locations before fusing the attention maps to a comprehensive one. Extensive experiments on three public datasets (including AffectNet, RAF-DB, and SFEW 2.0) verified that the proposed method consistently achieves state-of-the-art facial expression recognition performance. Code will be made available at https://github.com/yaoing/DAN.

연구 동기 및 목표

• 비슷한 얼굴 표정 간의 미묘한 차이를 인식하여 FER을 위한 동기를 부여한다.
• 클래스 간 여백을 최대화하고 클래스 내 분산을 최소화하기 위한 판별적 특징 클러스터링 접근법을 제안한다.
• 여러 얼굴 영역에 동시에 주의를 기울이도록 다중 헤드 어텐션 메커니즘을 개발한다.
• 다양한 영역에 걸쳐 주의를 분산시키고 분류를 위해 특징을 융합하는 어텐션 융합 메커니즘을 도입한다.

제안 방법

• Affinity loss를 갖는 Feature Clustering Network (FCN)은 특징을 클래스 중심으로 끌어당기면서 중심 간의 여백을 넓혀 클래스 구분성을 최대화한다.
• 여러 개의 평행 어텐션 헤드를 갖는 Multi-head Attention Network (MAN)는 각 헤드가 공간 어텐션 유닛(다중 스케일 합성곱)과 채널 어텐션 유닛으로 구성되어 고차 상호 작용을 포착한다.
• Attention Fusion Network (AFN)은 log-softmax를 통해 어텐션 벡터의 스케일링을 수행하고, partition loss로 겹치지 않는 어텐션 영역을 강제하며, 최종 분류를 위해 어텐션 특징을 융합한다.
• 전체 학습 목표는 affinity loss, partition loss, cross-entropy loss를 L = lambda1 L_af + lambda2 L_pt + L_cls로 결합한다.

실험 결과

연구 질문

• RQ1 판별적 특징 클러스터링 목표가 center loss를 넘어서 FER에서 클래스 구분성을 개선할 수 있는가?
• RQ2 다중 얼굴 영역을 포착하는 다중 헤드 어텐션 아키텍처가 단일 헤드 어텐션보다 FER 정확도를 향상시키는가?
• RQ3 어텐션 융합 메커니즘이 다양하고 비겹치는 주의를 촉진하여 최종 분류를 개선할 수 있는가?
• RQ4 제안된 손실들이 표준 FER 벤치마크에서 성능에 미치는 영향은 무엇인가?

주요 결과

• DAN은 AffectNet-8에서 62.09%, AffectNet-7에서 65.69%를 달성하며 다수의 기존 방법을 능가한다.
• DAN은 RAF-DB에서 89.70%를 달성하여 해당 데이터세트의 최첨단 결과를 기록한다.
• DAN은 SFEW 2.0에서 53.18%를 달성하며 작은 데이터세트에서도 경쟁력 있는 성능을 보인다.
• 오류 제거 실험은 affinity loss와 partition loss가 각각 성능 향상에 기여함을 보여준다.
• 네 개의 어텐션 헤드가 더 적은 헤드에 비해 RAF-DB에서 정확도를 최대화한다.