[논문 리뷰] Facial Action Unit Recognition With Multi-models Ensembling

Wenqiang Jiang, Yannan Wu외 4명|arXiv (Cornell University)|2022. 03. 24.

Emotion and Mood Recognition인용 수 8

한 줄 요약

이 논문은 ABAW 2022 경쟁 대회에서 얼굴 행동 단위(AU) 인식을 위한 다중 모델 앙상블 접근법을 제시한다. FPN, SSH 및 좌표 주의 모듈을 통합한 개선된 IResNet100을 활용하여 특징 학습을 향상시킨다. Glint360K와 기업 내부 AU/EXPR 데이터셋으로 사전 훈련된 모델을 조합하고, ML-ROS와 배치 샘플링을 적용하여 데이터 균형을 맞추며, 하이브리드 손실 함수를 사용함으로써 AU 검증 세트에서 매크로 F1 스코어 0.731을 달성한다.

ABSTRACT

The Affective Behavior Analysis in-the-wild (ABAW) 2022 Competition gives Affective Computing a large promotion. In this paper, we present our method of AU challenge in this Competition. We use improved IResnet100 as backbone. Then we train AU dataset in Aff-Wild2 on three pertained models pretrained by our private au and expression dataset, and Glint360K respectively. Finally, we ensemble the results of our models. We achieved F1 score (macro) 0.731 on AU validation set.

연구 동기 및 목표

• 실생활의 웰드(wild) 데이터에서 심각한 클래스 불균형을 가진 다중 레이블 얼굴 행동 단위 인식 문제를 해결한다.
• 백본 네트워크의 아키텍처 수정을 통해 특징 표현을 향상시켜 AU 인식 성능을 향상시킨다.
• 다양한 사전 훈련된 모델과 앙상블 전략을 통합하여 훈련의 안정성과 일반화 성능을 최적화한다.
• Aff-Wild2 데이터셋의 불균형한 AU 분포를 고려한 강건한 손실 함수를 개발한다.

제안 방법

• 백본으로 IResNet100을 사용하고, Glint360K 및 두 개의 기업 내부 데이터셋(AU 및 표정)으로 사전 훈련하여 특징 전이 성능을 향상시켰다.
• FPN과 SSH 모듈을 통합하여 다중 척도 표현 간의 공간적 및 텍스처 특징를 유지하고 강화하였다.
• 얕은 층과 깊은 층에 좌표 주의 모듈을 적용하여 공간적 특징 주의력과 정렬을 향상시켰다.
• 이진 교차 엔트로피와 다중 레이블 손실을 조합한 하이브리드 손실 함수를 설계하였으며, 클래스별 가중치(w=[1,2,1,1,1,1,1,6,6,5,1,5])를 적용하여 데이터 불균형 문제를 완화하였다.
• 각 12개의 AU에 대해 양성 및 음성 샘플이 균형 잡힌 배치가 되도록 보장하기 위해 배치 샘플링을 구현하였다.
• 영상 입력에서 시퀀스 수준의 AU 예측 일관성을 향상시키기 위해 로그리트에 슬라이딩 윈도우를 통한 시간적 스무딩을 적용하였다.

실험 결과

연구 질문

• RQ1 실생활 데이터에서 극심한 레이블 불균형이 존재하는 상황에서 딥 러닝 모델을 효과적으로 미세조정하여 얼굴 행동 단위 인식을 수행할 수 있는가?
• RQ2 FPN, SSH 및 좌표 주의와 같은 아키텍처 개선이 AU 인식 성능에 어느 정도 기여하는가?
• RQ3 다양한 데이터셋으로 사전 훈련된 다수의 모델을 기반으로 한 앙상블 학습 전략이 ABAW 2022 AU 도전 대회에서 일반화 성능과 성능 향상에 기여하는가?
• RQ4 제안된 하이브리드 손실 함수는 Aff-Wild2에서 장긴 꼬리형 AU 분포의 영향을 어느 정도 완화하는가?
• RQ5 ML-ROS 및 배치 샘플링과 같은 데이터 균형 조절 기법이 모델 수렴과 AU 별 F1 스코어에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 다중 모델 앙상블 전략은 ABAW 2022 AU 검증 세트에서 매크로 F1 스코어 0.731을 달성하여 개별 모델을 초월하였다.
• Glint360K 및 기업 내부 AU/EXPR 데이터셋의 사전 훈련 가중치를 활용함으로써, 초기 학습에서의 성능 대비 14.4% 향상이 이루어졌다.
• 좌표 주의 모듈의 통합으로 가장 큰 개선 효과(4.4% F1 향상)를 기록하여, 주의 기반 특징 학습의 효과성을 입증하였다.
• 이진 교차 엔트로피와 다중 레이블 손실을 조합한 하이브리드 손실 함수는 특히 드문 AU인 AU23 및 AU24에 대해 장긴 꼬리형 분포의 부정적 영향을 줄였다.
• ML-ROS 및 배치 샘플링을 통한 데이터 균형 조절은 F1 스코어에 1.5% 향상 기여를 하여, 훈련 데이터 셋 정제의 중요성을 입증하였다.
• 제거 실험을 통해 FPN, SSH, 좌표 주의, 레이블 스무딩 및 더 큰 배치 크기의 조합이 최고의 성능(0.721 F1)을 기록함을 확인하여, 전체 파이프라인의 효과성을 검증하였다.