[논문 리뷰] Versatile audio-visual learning for emotion recognition

Lucas Goncalves, Seong-Gyun Leem외 3명|arXiv (Cornell University)|2023. 05. 12.

Emotion and Mood Recognition인용 수 7

한 줄 요약

이 논문은 회귀(감정 속성) 및 분류(범주형 감정) 작업을 모두 지원하는 통합된 단모달 및 다모달 감정 인식을 위한 유연한 청각시각 학습(VAVL) 프레임워크를 제안한다. 공유 레이어, 공유 레이어를 통한 잔차 연결, 단모달 재구성 손실을 사용하여 청각 또는 시각 데이터가 누락된 경우에도 견고한 표현 학습을 가능하게 하며, CREMA-D 및 MSP-IMPROV 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Most current audio-visual emotion recognition models lack the flexibility needed for deployment in practical applications. We envision a multimodal system that works even when only one modality is available and can be implemented interchangeably for either predicting emotional attributes or recognizing categorical emotions. Achieving such flexibility in a multimodal emotion recognition system is difficult due to the inherent challenges in accurately interpreting and integrating varied data sources. It is also a challenge to robustly handle missing or partial information while allowing direct switch between regression or classification tasks. This study proposes a versatile audio-visual learning (VAVL) framework for handling unimodal and multimodal systems for emotion regression or emotion classification tasks. We implement an audio-visual framework that can be trained even when audio and visual paired data is not available for part of the training set (i.e., audio only or only video is present). We achieve this effective representation learning with audio-visual shared layers, residual connections over shared layers, and a unimodal reconstruction task. Our experimental results reveal that our architecture significantly outperforms strong baselines on the CREMA-D, MSP-IMPROV, and CMU-MOSEI corpora. Notably, VAVL attains a new state-of-the-art performance in the emotional attribute prediction task on the MSP-IMPROV corpus.

연구 동기 및 목표

• 청각 전용, 영상 전용, 청각시각 병합 설정을 모두 지원하는 통합된 다모달 학습 프레임워크를 개발하는 것.
• 단일 아키텍처 내에서 감정 회귀(예: 각성도, 평정도)와 분류(예: 분노, 기쁨) 작업 간 원활한 전환을 가능하게 하는 것.
• 학습 및 추론 과정에서 일부 모달리티가 누락되었을 경우의 성능 저하에 대한 강건성을 향상시키는 것.
• 공유 레이어 내에서 모달리티 특화 표현을 유지하여 모달리티 특화 특징을 보존하는 것.
• 실제 인간-컴퓨터 상호작용 환경에서 모델 복잡도를 줄이고 성능 및 해석 가능성 향상을 이루는 것.

제안 방법

• VAVL 프레임워크는 청각 및 시각 입력을 위한 별도의 모달리티 특화 브랜치를 사용한 후, 다모달 표현을 학습하기 위해 공유 레이어를 적용한다.
• 학습 안정성 향상과 기울기 흐름 개선을 위해 공유 레이어에 잔차 연결을 적용한다.
• 모델이 쌍화된 데이터가 누락된 경우에도 단모달에서 의미 있는 표현을 학습할 수 있도록 단모달 재구성 작업을 도입한다.
• 공유 레이어가 청각 및 시각 모달리티에 대해 별개로 분리 가능한 임bedding을 생성하도록 훈련시켜, 모달리티 특화 특징 학습을 강화한다.
• 다중 헤드 예측 헤드를 사용하여 감정 회귀 및 분류 작업을 동시에 최적화한다.
• 아키텍처는 엔드 투 엔드로 훈련되며, 재학습 없이도 단모달 설정에서 제로샷 추론을 지원한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 감정 회귀 및 분류 작업을 모두 아우르는 단모달 및 다모달 감정 인식을 효과적으로 처리할 수 있는가?
• RQ2 추론 과정에서 단일 모달리티만 이용 가능한 경우 모델이 높은 성능을 유지할 수 있는가?
• RQ3 공유 레이어에 잔차 연결과 재구성 작업을 도입할 경우 다모달 감정 인식의 표현 학습이 얼마나 향상되는가?
• RQ4 제안된 프레임워크가 청각시각 및 단모달 설정 모두에서 기존 최신 기준 모델을 초월하는가?
• RQ5 공유 레이어 내에서 모달리티 특화 표현을 분리하여 학습하면서도 효과적인 다모달 통합을 가능하게 할 수 있는가?

주요 결과

• MSP-IMPROV 데이터셋에서 VAVL은 청각시각 회귀 작업에서 각각 각성도(0.856), 평정도(0.814), 지배도(0.876)에 대해 최신 기준 성능을 달성하였다.
• MSP-IMPROV의 청각 전용 설정에서 VAVL은 모든 베이스라인을 압도하며 뛰어난 단모달 표현 학습 능력을 입증하였다.
• CREMA-D 데이터셋에서 VAVL은 청각시각 분류 설정에서 가장 높은 F1-macro(0.779) 및 F1-micro(0.826) 점수를 기록하였다.
• VAVL의 공유 레이어는 기존 베이스라인 대비 청각 및 시각 표현 간 평균 코사인 거리가 유의미하게 높아, 모달리티 특화 특징의 더 나은 분리가 이루어졌음을 시사한다.
• 제거 실험을 통해 공유 레이어, 잔차 연결, 단모달 재구성 모두가 성능 향상에 기여하는 것으로 확인되었다.
• 부분적으로 쌍화된 데이터로도 훈련된 경우 모델이 높은 성능을 유지하여, 모달리티 누락 상황에 대한 강건성을 입증하였다.