[논문 리뷰] Computer Vision Estimation of Emotion Reaction Intensity in the Wild

Qian Yang, Ali Kargarandehkordi외 5명|arXiv (Cornell University)|2023. 03. 19.

Emotion and Mood RecognitionPsychology인용 수 3

한 줄 요약

이 논문은 딥러닝을 사용하여 실생활의 통제되지 않은 환경(인-더-윌드)에서 정서 반응 강도를 추정하는 컴퓨터 비전 접근법을 제안한다. 시각적 특징 전용 모델 4종과 시각-청각 다중모달 모델 1종을 도입하여 사전 훈련된 ResNet50을 사용해 Hume-Reaction 데이터셋에서 테스트 페어슨 상관계수 0.4080을 달성하였으며, 이는 이산 카테고리를 넘어서 세밀한 정서 강도 예측을 위한 생산 수준의 모델 개발에 있어 핵심 단계이다.

ABSTRACT

Emotions play an essential role in human communication. Developing computer vision models for automatic recognition of emotion expression can aid in a variety of domains, including robotics, digital behavioral healthcare, and media analytics. There are three types of emotional representations which are traditionally modeled in affective computing research: Action Units, Valence Arousal (VA), and Categorical Emotions. As part of an effort to move beyond these representations towards more fine-grained labels, we describe our submission to the newly introduced Emotional Reaction Intensity (ERI) Estimation challenge in the 5th competition for Affective Behavior Analysis in-the-Wild (ABAW). We developed four deep neural networks trained in the visual domain and a multimodal model trained with both visual and audio features to predict emotion reaction intensity. Our best performing model on the Hume-Reaction dataset achieved an average Pearson correlation coefficient of 0.4080 on the test set using a pre-trained ResNet50 model. This work provides a first step towards the development of production-grade models which predict emotion reaction intensities rather than discrete emotion categories.

연구 동기 및 목표

• 행동과학 기반 정서 표현 방식인 행동단위(Action Units), 정서의 밸런스-각성(Valence-Arousal), 이산 정서 카테고리 외로 정서 표현을 발전시키기 위해 정서 컴퓨팅 분야의 진전을 도모한다.
• 이산 정서 레이블이 아닌 연속적인 정서 반응 강도를 예측하는 모델을 개발한다.
• 제약 조건이 없는 실생활 영상 데이터에서 정서 추정의 과제를 해결한다.
• 정교한 정서 강도 예측을 통해 디지털 행동건강, 로봇공학, 미디어 분석 분야의 실용적 응용에 기여한다.

제안 방법

• 비디오 프레임에서 추출한 시각적 특징에만 기반한 네 개의 딥 네트워크를 개발하였다.
• 시각적 특징과 청각적 특징을 모두 활용하여 다중모달 딥 러닝 모델을 훈련시켜 강도 추정 성능을 향상시켰다.
• 제한된 데이터에서 성능을 향상시키기 위해 사전 훈련된 ResNet50 기반 모델을 특징 추출에 활용하였다.
• 사전 훈련된 모델을 정서 반응 강도 회귀 과제에 적응시키기 위해 전이 학습 기법을 적용하였다.
• 연속적인 강도 예측을 위해 평균 제곱오차 손실을 최적화하였다.
• Hume-Reaction 테스트 세트에서 페어슨 상관계수를 사용해 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 제약 조건이 없는 실생활 영상 데이터에서 연속적인 정서 반응 강도를 효과적으로 추정할 수 있는가?
• RQ2 청각 모odal을 통합할 경우, 시각 전용 모델 대비 정서 강도 추정 정확도는 얼마나 향상되는가?
• RQ3 시각 전용 모델은 인-더-윌드 환경에서 세밀한 정서 반응 강도를 예측할 때 성능 상한선가 어느 정도인가?
• RQ4 제안된 접근법은 정서의 밸런스-각성 또는 이산 정서와 같은 전통적인 정서 컴퓨팅 표현 방식과 비교해 어떻게 다른가?

주요 결과

• 최고의 성능을 보인 모델은 Hume-Reaction 테스트 세트에서 페어슨 상관계수 0.4080을 달성하였으며, 이는 정서 반응 강도 추정에 있어 강력한 베이스라인을 제공한다.
• 다중모달 모델은 모든 시각 전용 모델을 앞서며, 강도 예측에서 청각-시각 융합의 가치를 입증한다.
• 사전 훈련된 ResNet50 기반 모델을 사용함으로써 모델 수렴 속도와 성능이 크게 향상되었다.
• 결과는 실생활 환경에서 정서 반응 강도가 컴퓨터 비전 시스템이 측정 가능한 타겟임을 시사한다.
• 본 연구는 이산 정서 카테고리 외의 연속적인 정서 강도 추정 분야에서 향후 연구를 위한 기초 기준을 설정한다.