[논문 리뷰] Technical Report for Valence-Arousal Estimation on Affwild2 Dataset

I-Hsuan Li|arXiv (Cornell University)|2021. 05. 04.

Emotion and Mood Recognition참고 문헌 10인용 수 5

한 줄 요약

이 논문은 MIMAMO Net 아키텍처를 사용하여 Aff-Wild2 데이터셋에서 공간-시간 특징과 GRU 기반 융합을 활용해 미세운동 및 거시운동을 모델링하는 조성-각도 추정 방법을 제안한다. 재선택된 검증 세트에서 조성에 대해 0.415, 각도에 대해 0.511의 일致성 상관계수(CCC)를 달성하여, 얼굴 운동과의 강한 상관관계로 인해 각도 추정에서 더 뛰어난 성능을 보였다.

ABSTRACT

In this work, we describe our method for tackling the valence-arousal estimation challenge from ABAW FG-2020 Competition. The competition organizers provide an in-the-wild Aff-Wild2 dataset for participants to analyze affective behavior in real-life settings. We use MIMAMO Net \cite{deng2020mimamo} model to achieve information about micro-motion and macro-motion for improving video emotion recognition and achieve Concordance Correlation Coefficient (CCC) of 0.415 and 0.511 for valence and arousal on the reselected validation set.

연구 동기 및 목표

• 실세계 데이터를 활용하여 통제되지 않은 실외 환경의 비디오 설정에서 조성-각도 추정 과제를 해결하기 위해.
• 얼굴 표정의 미세운동과 거시운동을 모두 모델링하여 감정 인식 성능을 향상시키기 위해.
• 대규모 Aff-Wild2 데이터셋에서 차원 감정 회귀에 대해 MIMAMO Net 아키텍처의 효과를 평가하기 위해.
• 실세계 비디오 데이터에서 조성과 각도 추정 간 성능 격차를 조사하기 위해.

제안 방법

• 공간 및 시간 특징을 별도로 처리하는 이중 스트림 CNN-RNN 모델인 MIMAMO Net 아키텍처를 채택한다.
• 공간 스트림에서 개별 프레임의 공간 특징을 추출하기 위해 사전 훈련된 ResNet50을 사용한다.
• 시간 스트림에서 시간에 따른 단계 차이 이미지를 생성하여 시간적 동적 특징을 포착한다.
• GRU 네트워크를 사용해 공간 및 시간 특징을 융합하여 장거리 의존성을 모델링하고 프레임 수준의 예측 성능을 향상시킨다.
• 데이터 균형 조정 기법을 적용하지만, 이는 회귀 과제에 효과적이지 않아, 교차 검증을 위해 훈련 및 검증 세트를 통합한다.
• 프레임 보간 전략을 구현한다: 초기 손실 프레임에는 -5를 할당하고, 초기가 아닌 손실 프레임의 경우 이전 예측값을 전파한다.

실험 결과

연구 질문

• RQ1 MIMAMO Net 아키텍처는 통제되지 않은 실외 비디오 데이터에서 연속적인 조성 및 각도 수준을 효과적으로 추정할 수 있는가?
• RQ2 미세운동과 거시운동을 모두 모델링하면 차원 감정 인식 성능가 어떻게 향상되는가?
• RQ3 실세계 비디오 환경에서 왜 각도 추정이 조성 추정보다 더 정확한가?
• RQ4 데이터 균형 조정 기법은 Aff-Wild2 데이터셋에서의 회귀 성능 향상에 어느 정도 기여하는가?

주요 결과

• 재선택된 검증 세트에서 조성 추정에 대해 일치성 상관계수(CCC)가 0.415를 기록한다.
• 각도 추정에 대해 CCC가 0.511을 기록하여 조성 추정을 능가한다.
• 각도 추정 성능이 높은 것은 조성보다도 관찰 가능한 얼굴 운동과 더 강한 상관관계가 있기 때문이다.
• 데이터 균형 조정 기법은 회귀 과제에 효과적이지 않아 최종 모델에 적용되지 않았다.
• 프레임 보간 전략은 손실 데이터를 효과적으로 처리하며, 초기 손실 프레임에는 -5를, 이후 손실 프레임에는 이전 예측값을 사용한다.