[논문 리뷰] The MuSe 2022 Multimodal Sentiment Analysis Challenge: Humor, Emotional Reactions, and Stress

Lukas Christ, Shahin Amiriparian외 10명|arXiv (Cornell University)|2022. 06. 23.

Humor Studies and Applications인용 수 4

한 줄 요약

이 논문은 농담 탐지, 정서 반응 강도 예측, 연속된 스트레스 정서 회귀를 위한 세 가지 새로운 데이터셋을 소개하는 MuSe 2022 다중모달 정서 분석 챌린지를 제시한다. 다중모달 특징과 LSTM 기반 모델을 사용하여 강력한 베이스라인 성능을 확립하였으며, 농담 탐지에 대해 AUC 0.8480, 정서 반응에 대해 평균 피어슨 상관계수 0.2801, 스트레스 예측의 자극성에 대해 CCC 0.4931을 달성하였다.

ABSTRACT

The Multimodal Sentiment Analysis Challenge (MuSe) 2022 is dedicated to multimodal sentiment and emotion recognition. For this year's challenge, we feature three datasets: (i) the Passau Spontaneous Football Coach Humor (Passau-SFCH) dataset that contains audio-visual recordings of German football coaches, labelled for the presence of humour; (ii) the Hume-Reaction dataset in which reactions of individuals to emotional stimuli have been annotated with respect to seven emotional expression intensities, and (iii) the Ulm-Trier Social Stress Test (Ulm-TSST) dataset comprising of audio-visual data labelled with continuous emotion values (arousal and valence) of people in stressful dispositions. Using the introduced datasets, MuSe 2022 2022 addresses three contemporary affective computing problems: in the Humor Detection Sub-Challenge (MuSe-Humor), spontaneous humour has to be recognised; in the Emotional Reactions Sub-Challenge (MuSe-Reaction), seven fine-grained `in-the-wild' emotions have to be predicted; and in the Emotional Stress Sub-Challenge (MuSe-Stress), a continuous prediction of stressed emotion values is featured. The challenge is designed to attract different research communities, encouraging a fusion of their disciplines. Mainly, MuSe 2022 targets the communities of audio-visual emotion recognition, health informatics, and symbolic sentiment analysis. This baseline paper describes the datasets as well as the feature sets extracted from them. A recurrent neural network with LSTM cells is used to set competitive baseline results on the test partitions for each sub-challenge. We report an Area Under the Curve (AUC) of .8480 for MuSe-Humor; .2801 mean (from 7-classes) Pearson's Correlations Coefficient for MuSe-Reaction, as well as .4931 Concordance Correlation Coefficient (CCC) and .4761 for valence and arousal in MuSe-Stress, respectively.

연구 동기 및 목표

• 농담, 정서 반응, 스트레스에 대한 세 가지 새로운 다양성 있는 데이터셋을 도입함으로써 다중모달 정서 및 정서 인식 기술을 발전시키기 위해.
• 현재의 정서 컴퓨팅 도전 과제를 해결하기 위해: 자연스러운 농담 탐지, 정교한 정서 강도 예측, 연속된 스트레스 수준의 회귀 분석.
• 실생활 비스크립트 환경에서 음성, 영상, 텍스트 및 생리 신호의 다중모달 융합 기술에 대한 벤치마크를 제공하기 위해.
• 공개 접근 데이터와 특징을 통해 음성-영상 정서 인식, 헬스 인포매틱스 및 상징적 정서 분석 분야의 연구를 지원하기 위해.
• 미래의 방법 개발을 위한 딥러닝과 다중모달 특징 융합을 활용한 투명하고 재현 가능한 베이스라인을 수립하기 위해.

제안 방법

• 챌린지는 세 가지 서로 다른 데이터셋을 사용한다: 농담 탐지용 Passau-SFCH, 정서 반응 강도 예측용 Hume-Reaction, 연속된 스트레스 수준 회귀용 Ulm-TSST.
• 오픈소스 도구를 사용하여 음성(egemaps, DeepSpectrum), 영상(VGGface2, 얼굴 동작 단위), 텍스트(BERT), 생리 신호(BPM, ECG, RESP)에서 특징을 추출한다.
• 모든 세 하위 과제에 동일한 일관성과 비교 가능성을 확보하기 위해, 기반 모델로 LSTM 셀을 사용한 순환 신경망을 적용한다.
• 후기 융합 전략을 통해 음성, 영상, 텍스트 모달리티를 융합하며, 개별 및 병합된 특징 세트에 대해 별도의 모델을 학습시켜 성능을 최적화한다.
• MuSe-Stress의 경우 생리 신호(EDA, ECG, RESP, BPM)를 입력으로 사용하며, 일致성을 확보하기 위해 MuSe-Physio 2021 챌린지에서 유도된 레이블을 사용한다.
• 베이스라인 모델은 훈련 세트에서 학습하고 개발 및 테스트 세트에서 평가하며, 표준 평가 지표(AUC, 피어슨 상관계수(ρ), 공차 상관계수(CCC))를 사용해 성능을 보고한다.

실험 결과

연구 질문

• RQ1 자연스럽게 흘러나오는 축구 기자회견에서 다중모달 특징을 효과적으로 사용하여 즉흥적인 농담을 탐지할 수 있는가?
• RQ2 자기 기록한 음성-영상 반응을 통해 감정 자극에 대한 정교한 정서 반응 강도(예: 웃음, 공포, 놀람 등)를 얼마나 정확하게 예측할 수 있는가?
• RQ3 다중모달 및 생리 신호를 사용하여 스트레스 유발 사회적 상황에서 연속적인 평가 및 자극성 수준을 얼마나 정확하게 예측할 수 있는가?
• RQ4 음성, 영상, 텍스트, 생리 신호 중 어떤 조합이 다중모달 정서 및 정서 인식 과제에서 가장 높은 성능을 낼 수 있는가?
• RQ5 다양하고 실제 환경에서의 녹음 조건(노이즈 및 품질 변동)에 대해 베이스라인 모델은 얼마나 강건한가?

주요 결과

• MuSe-Humor 하위 과제에서 VGGface2 특징을 사용하여 AUC 0.8480을 달성하여 즉흥적인 코치 기자회견에서 농담 탐지 성능이 뛰어나다는 것을 보여주었다.
• MuSe-Reaction 하위 과제에서는 일곱 가지 감정 클래스에 대한 평균 피어슨 상관계수(ρ)가 0.2801이었으며, FAU 특징이 경쟁적인 성능을 보였다.
• MuSe-Stress 하위 과제에서는 후기 융합된 음성 및 텍스트 특징을 사용하여 자극성에 대해 CCC 0.4931, 평가에 대해 CCC 0.4761을 달성하였다.
• 음성 및 영상 모달리티의 후기 융합이 MuSe-Stress에서 가장 높은 성능을 보였으며, 평가에 대해 CCC 0.6914를 기록하여 개별 모달리티 베이스라인을 초월하였다.
• BPM, ECG, RESP를 포함한 생리 신호의 사용은 MuSe-Stress의 베이스라인 성능을 향상시켰으며, 병합된 생리 특징을 사용한 평가에 대해 CCC 0.4361을 기록하였다.
• 원본 데이터, 추출된 특징, 코드를 공개 저장소에 포함시킴으로써 재현 가능성이 보장되고 향후 다중모달 정서 컴퓨팅 분야의 연구를 촉진할 수 있었다.