[논문 리뷰] Facial Expression Recognition based on Multi-head Cross Attention Network

Jae-Yeop Jeong, Yeong-Gi Hong외 3명|arXiv (Cornell University)|2022. 03. 24.

Emotion and Mood Recognition인용 수 8

한 줄 요약

이 논문은 ResNet-50 특징과 주의 메커니즘을 활용하여 야외 환경에서의 얼굴 표정 인식을 향상시키기 위해 다중 헤드 교차 주의를 통합한 향상된 딥 아그리게이션 네트워크(DAN)를 제안한다. 데이터 증강, 외부 데이터셋, 소프트-보팅 앙상블 전략을 사용하여 ABAW 2022 검증 세트에서 평균 CCC가 0.44이고 평균 F1 스코어가 0.33인 성능을 달성한다.

ABSTRACT

Facial expression in-the-wild is essential for various interactive computing domains. In this paper, we proposed an extended version of DAN model to address the VA estimation and facial expression challenges introduced in ABAW 2022. Our method produced preliminary results of 0.44 of mean CCC value for the VA estimation task, and 0.33 of the average F1 score for the expression classification task.

연구 동기 및 목표

• 통제되지 않은, 야외 영상 환경에서의 얼굴 표정 인식 과제를 해결한다.
• ABAW 2022 경쟁에서 Valence-Arousal(VA) 추정 및 표정 분류 과제의 성능을 향상시킨다.
• 데이터 증강 및 외부 데이터베이스를 통해 얼굴 표정 데이터셋의 클래스 불균형 문제를 완화한다.
• 공간적 및 채널 주의를 결합한 다중 헤드 교차 주의 메커니즘을 통해 특징 표현을 향상시킨다.
• 주의 융합과 포칼 손실을 통합한 강력한 모델 아키텍처를 개발하여 분류 및 회귀 성능을 향상시킨다.

제안 방법

• 상호 클래스 간 거리를 최대화하기 위해 유사도 손실을 사용하여 VGGFace2에서 미리 훈련된 ResNet-50 백본을 활용해 시각적 특징을 추출한다.
• 공간적 및 채널 주의 유닛을 통합한 다중 헤드 교차 주의 모듈을 도입하여 동적 주의 맵을 생성한다.
• 주의 맵을 조율하고 개선하여 향상된 특징 표현을 위한 주의 융합 네트워크를 적용한다.
• 여러 모델 변종을 훈련하고 검증 단계에서 예측을 융합하여 소프트-보팅 앙상블 전략을 사용한다.
• 과적합을 줄이기 위해 색상 왜곡, 랜덤 크롭, 수평 뒤집기 등의 데이터 증강 기법을 적용한다.
• Aff-Wild2와 함께 AffectNet, ExpW, Ai-Hub 등의 외부 데이터셋을 융합하며, 겹치는 감정 카테고리에 중점을 두어 클래스 불균형 문제를 완화한다.

실험 결과

연구 질문

• RQ1 어떻게 주의 메커니즘이 야외 환경에서의 얼굴 표정 인식을 위한 특징 표현을 향상시킬 수 있는가?
• RQ2 여러 야외 데이터셋을 결합할 경우 표정 인식에서 클래스 불균형 문제가 얼마나 완화되는가?
• RQ3 다중 헤드 교차 주의 메커니즘이 VA 추정 및 표정 분류 과제 양쪽에서 성능 향상에 기여하는가?
• RQ4 소프트-보팅 앙상블 전략은 ABAW 2022 벤치마크에서 일반화 성능 향상에 얼마나 효과적인가?
• RQ5 저자원 환경에서 주의 기반 특징 정제를 통해 어떤 성능 향상 효과를 기대할 수 있는가?

주요 결과

• 제안된 방법은 공식 ABAW 2022 검증 세트를 사용하여 VA 추정 과제에서 평균 Concordance Correlation Coefficient(CCC)가 0.44를 달성했다.
• 표정 분류 과제에서 평균 F1 스코어가 0.33로, 여덟 가지 감정 카테고리 전반에서 중간 수준의 성능을 보였다.
• AffectNet, ExpW, Ai-Hub 등의 외부 데이터셋 통합으로 인해 특히 부족한 감정에 대한 클래스 불균형 문제가 완화되었다.
• 랜덤 크롭, 수평 뒤집기, 색상 왜곡 등의 데이터 증강 기법을 적용함으로써 모델의 일반화 능력 향상과 과적합 감소 효과를 얻었다.
• 공간적 및 채널 주의 유닛을 통합한 다중 헤드 교차 주의의 사용으로 특징의 구분 능력 향상과 모델의 강건성 향상이 이루어졌다.
• 소프트-보팅 앙상블 접근 방식은 검증 세트에서 안정성과 성능 향상에 기여했으며, 향후 제출으로 인해 최종 결과가 업데이트될 수 있다.