[논문 리뷰] An Ensemble Approach for Facial Expression Analysis in Video

Hong-Hai Nguyen, Van Thong Huynh외 1명|arXiv (Cornell University)|2022. 03. 24.

Emotion and Mood Recognition인용 수 10

한 줄 요약

이 논문은 RegNet, GRU, 및 Transformer 융합에서 유래한 다중모odal 특징과 국소적 어텐션을 통한 강화를 통해 영상에서 연속적인 평가-각성 추정을 위한 앙상블 딥러닝 접근법을 제안한다. 이 방법은 Aff-Wild2 검증 세트에서 평균 0.507의 Concordance Correlation Coefficient (CCC)를 달성하여 이전 방법들과 기준선보다 약 두 배 이상 뛰어난 성능을 보였다.

ABSTRACT

Human emotions recognization contributes to the development of human-computer interaction. The machines understanding human emotions in the real world will significantly contribute to life in the future. This paper will introduce the Affective Behavior Analysis in-the-wild (ABAW3) 2022 challenge. The paper focuses on solving the problem of the valence-arousal estimation and action unit detection. For valence-arousal estimation, we conducted two stages: creating new features from multimodel and temporal learning to predict valence-arousal. First, we make new features; the Gated Recurrent Unit (GRU) and Transformer are combined using a Regular Networks (RegNet) feature, which is extracted from the image. The next step is the GRU combined with Local Attention to predict valence-arousal. The Concordance Correlation Coefficient (CCC) was used to evaluate the model.

연구 동기 및 목표

• 비제어적 실생활 영상 환경에서 연속적인 평가-각성 추정을 향상시키기 위해.
• 딥러닝을 활용한 정서 행동 분석에서 시간적 모델링과 특징 표현의 과제를 해결하기 위해.
• 다중모달 특징 융합과 앙상블 학습을 통해 학습 효율성과 예측 정확도를 향상시키기 위해.
• 국소적 어텐션의 효과가 GRU 기반 순차적 모델링을 정서 인식에 향상시키는지 조사하기 위해.
• ABAW3 2022 평가-각성 추정 서브챌린지에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• ImageNet에서 미리 훈련된 RegNet 기반 모델을 미세조정하여 시각적 특징을 추출한다.
• 시퀀스적 얼굴 특징에 대해 GRU 및 Transformer 인코더를 적용한 후, 그 표현을 연결하여 다중모달 특징을 생성한다.
• 이중 단계 프레임워크를 사용한다: 첫 번째 단계에서는 다중모달 융합이 향상된 특징을 생성하고, 두 번째 단계에서는 국소적 어텐션을 적용한 GRU가 시간적 동역학을 모델링한다.
• 개별 모델의 훈련을 위해 K=5의 교차검증을 사용하며, 예측 결과를 앙상블하여 안정성을 향상시킨다.
• 기본 학습률 0.001로 25 에포크 동안 Adam 옵timizer를 사용하여 모델을 최적화한다.
• GRU, Transformer, 최종 출력 헤드의 개별 손실을 가중 조합하여 손실을 계산하며, CCC를 주요 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 GRU와 Transformer의 다중모달 융합이 영상 내 평가-각성 추정을 위한 특징 표현 향상에 기여하는가?
• RQ2 GRU 레이어에 국소적 어텐션을 통합하면 연속 정서 인식에서 시간적 모델링 성능이 향상되는가?
• RQ3 K-폴드 모델의 앙상블은 단일 모델 기준선 대비 일반화 능력과 안정성 측면에서 어떻게 비교되는가?
• RQ4 기존의 ResNet과 같은 전통적 백본에 비해 RegNet 기반 특징 사용이 학습 속도와 정확도 향상에 어느 정도 기여하는가?
• RQ5 제안된 방법은 Aff-Wild2 벤치마크에서 평가-각성 추정 분야에서 기존 최신 기술 수준의 모델을 초월할 수 있는가?

주요 결과

• 제안된 방법은 Aff-Wild2 검증 세트에서 평균 Concordance Correlation Coefficient (CCC) 0.507을 달성하여 기준선 방법(0.24)보다 뚜렷이 뛰어났다.
• K-폴드 모델의 앙상블은 평균 CCC 0.465를 기록하여 개별 폴드 대비 안정성과 일반화 능력 향상을 입증했다.
• 국소적 어텐션을 적용한 GRU는 CCC 0.507을 기록하여 단순 GRU(0.504)보다 약간이지만 일관된 향상을 보였다.
• RegNet 특징을 사용한 GRU와 Transformer의 다중모달 융합은 CCC 0.478을 달성하여 효과적인 특징 표현 학습이 이루어졌음을 시사했다.
• 동일한 벤치마크에서 이전 최신 기술 수준의 방법들인 Deng et al.(0.494) 및 Zhang et al.(0.495)를 모두 능가하는 성능을 보였다.
• 행동 유닛 검출에서는 RegNet 특징을 사용해 F1 스코어 0.533를 기록하여 기준선(0.39)을 뛰어넘었다.