[논문 리뷰] An audiovisual and contextual approach for categorical and continuous emotion recognition in-the-wild

Panagiotis Antoniadis, Ioannis Pikoulis외 2명|arXiv (Cornell University)|2021. 07. 07.

Emotion and Mood Recognition참고 문헌 43인용 수 30

한 줄 요약

이 논문은 CNN-RNN 기반 아키텍처를 사용하여 얼굴, 신체, 환경적 시각적 특징과 청각 모odal을 융합하는 다중 스트림, 다중 모달 청각정서인식 프레임워크를 제안한다. 이는 어려운 인-더-월드 조건에서도 신체 및 환경적 맥락 정보가 정서 인식에 상당한 기여를 한다는 것을 입증함으로써 Aff-Wild2 검증 세트에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this work we tackle the task of video-based audio-visual emotion recognition, within the premises of the 2nd Workshop and Competition on Affective Behavior Analysis in-the-wild (ABAW2). Poor illumination conditions, head/body orientation and low image resolution constitute factors that can potentially hinder performance in case of methodologies that solely rely on the extraction and analysis of facial features. In order to alleviate this problem, we leverage both bodily and contextual features, as part of a broader emotion recognition framework. We choose to use a standard CNN-RNN cascade as the backbone of our proposed model for sequence-to-sequence (seq2seq) learning. Apart from learning through the RGB input modality, we construct an aural stream which operates on sequences of extracted mel-spectrograms. Our extensive experiments on the challenging and newly assembled Aff-Wild2 dataset verify the validity of our intuitive multi-stream and multi-modal approach towards emotion recognition in-the-wild. Emphasis is being laid on the the beneficial influence of the human body and scene context, as aspects of the emotion recognition process that have been left relatively unexplored up to this point. All the code was implemented using PyTorch and is publicly available.

연구 동기 및 목표

• 불량한 조명, 가림, 저해상도 등의 문제로 인해 실생활(인-더-월드) 환경에서 얼굴 중심 정서 인식의 한계를 해결하기 위해.
• 신체 자세와 환경 맥락을 정서 인식의 보조적 단서로 통합할 경우의 영향을 조사하기 위해.
• 다중 모달 융합을 통해 분류형(표현) 및 연속형(조절-각성) 정서 인식 과제의 성능을 향상시키기 위해.
• 멜스펙트로그램 기반 청각 스트림이 시각 스트림과 함께 사용될 경우 성능에 미치는 영향을 입증하기 위해.
• 재현 가능성과 정서적 행동 분석 분야의 향후 연구를 지원하기 위해 공개된 PyTorch 구현을 제공하기 위해.

제안 방법

• 비디오 시퀀스에 대해 순서에서 순서로 학습하기 위해 표준 CNN-RNN(컨벌루션 네트워크 + LSTM) 캐스케이드를 사용한다.
• 모든 시각적 특징 추출기의 백본으로 50층의 ResNet을 사용하며, 작업에 특화된 데이터셋으로 사전 훈련된 것을 활용한다.
• 세 개의 시각 스트림을 구성한다: (1) 얼굴 전용(F), (2) 신체 및 맥락 특징(BCF), (3) 융합된 얼굴 + 신체 + 맥락.
• 같은 CNN-RNN 아키텍처를 사용하여 청각 스트림에서 추출된 멜스펙트로그램 시퀀스를 처리한다.
• 특징 표현의 후기 융합 및 모델 출력의 가중 평균을 통해 청각 및 시각 스트림을 융합한다.
• GloVe 임베딩을 사용하여 시각적 및 텍스트 표현을 정렬하기 위해 시각-의미 임베딩 손실(Lemb)을 적용하며, λemb = 1.0으로 설정한다.

실험 결과

연구 질문

• RQ1 비구속적, 인-더-월드 비디오 환경에서 신체 및 환경 맥락은 정서 인식 성능에 얼마나 기여하는가?
• RQ2 멜스펙트로그램을 통한 청각 모달의 통합은 분류형 및 차원형 정서 인식 양측에 어떤 영향을 미치는가?
• RQ3 어려운 시각 조건에서 단일 스트림 얼굴 중심 모델에 비해 다중 스트림, 다중 모달 아키텍처가 더 우수한 성능을 내는가?
• RQ4 시각-의미 임베딩 손실(Lemb)의 통합은 모델이 정서 카테고리 및 차원 표현 간에 일반화 능력을 향상시키는 데 기여하는가?
• RQ5 Aff-Wild2 벤치마크에서 통합적 다중 스트림 모델의 성능은 최고 성능을 기록한 얼굴 중심 모델과 비교해 어떻게 되는가?

주요 결과

• 얼굴, 신체, 환경적 시각적 특징의 융합(Visual BCF)은 표현 서브챌린지에서 검증 세트의 F1 스코어를 얼굴 전용 모델의 0.453에서 0.517로 향상시켰다.
• 최고의 시각 스트림(BCF)에 청각 스트림을 추가함으로써 표현 인식의 총 스코어는 0.575로 향상되었고, 조절-각성 분석에서는 검증 세트에서 0.484로 개선되었다.
• 전체 세 스트림 모델(청각 + 얼굴 + 신체 + 맥락)은 표현 서브챌린지에서 총 스코어 0.592, 조절-각성 서브챌린지에서 0.502로 최고 성능을 기록했다.
• 테스트 세트에서 모델은 표현 서브챌린지에서 총 스코어 0.437을 기록했으며, 베이스라인 대비 CCC-A가 10% 향상(0.616)되었지만 최상위 제출 성과에는 미치지 못했다.
• 신체 및 맥락 특징의 통합은 F1 스코어에서 0.018 향상(0.312에서 0.329로), 정확도에서 0.029 향상(0.593에서 0.611로)을 기록하여 열악한 얼굴 조건 하에서도 그 가치를 입증했다.
• 시각-의미 임베딩 손실(Lemb)을 BCF 스트림에 추가함으로써 F1 스코어가 0.009 향상되었으며, 이는 시각적 및 의미적 표현 간 정렬에 효과적이라는 것을 보여준다.