[논문 리뷰] A Multimodal Corpus for Emotion Recognition in Sarcasm

Anupama Ray, Shubham Mishra외 2명|arXiv (Cornell University)|2022. 06. 05.

Sentiment Analysis and Opinion Mining인용 수 12

한 줄 요약

이 논문은 감정 인식을 위한 대규모 다중모态 코퍼스인 MUStARD++을 소개한다. 기존 MUStARD 데이터셋의 크기를 두 배로 늘리고 감정, 조율, 각성도, 풍자 유형에 대한 세분화된 레이블을 추가하여 확장하였다. 이 풍부한 데이터셋을 기반으로 다중모달 융합 모델을 적용하여, 풍자에서의 감정 인식 분야에서 새로운 벤치마크를 수립하였으며, 기존 최고 수준의 풍자 탐지 방법들을 크게 앞서나갔다.

ABSTRACT

While sentiment and emotion analysis have been studied extensively, the relationship between sarcasm and emotion has largely remained unexplored. A sarcastic expression may have a variety of underlying emotions. For example, "I love being ignored" belies sadness, while "my mobile is fabulous with a battery backup of only 15 minutes!" expresses frustration. Detecting the emotion behind a sarcastic expression is non-trivial yet an important task. We undertake the task of detecting the emotion in a sarcastic statement, which to the best of our knowledge, is hitherto unexplored. We start with the recently released multimodal sarcasm detection dataset (MUStARD) pre-annotated with 9 emotions. We identify and correct 343 incorrect emotion labels (out of 690). We double the size of the dataset, label it with emotions along with valence and arousal which are important indicators of emotional intensity. Finally, we label each sarcastic utterance with one of the four sarcasm types-Propositional, Embedded, Likeprefixed and Illocutionary, with the goal of advancing sarcasm detection research. Exhaustive experimentation with multimodal (text, audio, and video) fusion models establishes a benchmark for exact emotion recognition in sarcasm and outperforms the state-of-art sarcasm detection. We release the dataset enriched with various annotations and the code for research purposes: https://github.com/apoorva-nunna/MUStARD_Plus_Plus

연구 동기 및 목표

• 다중모달 커뮤니케이션에서 풍자와 배경 감정 간의 미해결된 관계를 탐구하기 위해.
• 기존 MUStARD 데이터셋의 감정 레이블 오류를 수정하기 위해.
• 시트콤에서 345개의 새로운 풍자적이고 비풍자적인 영상 클립을 추가하여 데이터셋을 확장하고, 풍자 비율을 50-50로 유지하기 위해.
• 감정 강도 모델링을 향상시키기 위해 조율 및 각성도 차원을 추가하기 위해.
• 향후 풍자 탐지 연구를 안내하기 위해 풍자 유형 분류(논리적, 임베디드, 'like' 접두사, 작동의도)를 메타데이터로 도입하기 위해.

제안 방법

• 저자들은 MUStARD와 유사한 시트콤에서 345개의 새로운 풍자적이고 345개의 비풍자적인 영상 클립을 수집하여 데이터셋 크기를 두 배로 늘렸다.
• 감정 레이블을 수동으로 재레이블링하여 기존 MUStARD 데이터셋의 343개의 잘못된 레이블을 수정하였다.
• 각 발화는 심리학적 프레임워크에 기반한 9개의 감정 중 하나와 함께 조율 및 각성도 점수를 함께 레이블링하였다.
• 풍자 유형은 언어적 및 다중모달 신호를 기반으로 분류하였다: 논리적(맥락 의존), 임베디드(텍스트 내 부조화), 'like' 접두사(은유를 나타내기 위해 'like' 사용), 작동의도(비언어적 신호가 텍스트와 모순됨).
• 텍스트, 음성, 영상 특징을 사용하여 BERT, Wav2Vec, 영상 임베딩을 기반으로 한 다중모달 융합 모델을 훈련시켰으며, 모odal별 표현을 융합하기 위해 후기 융합 전략을 사용하였다.
• 최종 모델 아키텍처는 텍스트(BERT), 음성(Wav2Vec), 영상(I3D) 인코더를 조합하였으며, 감정 인식을 위해 초기 및 후기 융합 전략을 평가하였다.

실험 결과

연구 질문

• RQ1 풍자적 발화의 배경 감정은 무엇이며, 표면적 감정과 어떻게 다를까?
• RQ2 다양한 풍자 유형과 감정 유형에서 풍자적 발화의 조율 및 각성도 수준은 어떻게 변화하는가?
• RQ3 텍스트, 음성, 영상의 다중모달 융합이 단일모달 또는 단순 융합 접근 방식을 초월하여 풍자에서의 감정 인식을 향상시킬 수 있는가?
• RQ4 기존 데이터셋의 레이블 오류가 정확한 풍자 및 감정 인식을 얼마나 방해하는가?
• RQ5 풍자 유형은 정확한 감정 탐지에 필요한 모달리티 요구 조건에 어떤 영향을 미치는가?

주요 결과

• 저자들은 기존 MUStARD 데이터셋의 343개의 잘못된 감정 레이블을 수정하여 레이블 품질을 크게 향상시켰다.
• 확장된 MUStARD++ 데이터셋은 1,380개의 영상 발화(690개의 풍자적, 690개의 비풍자적)를 포함하며, 감정, 조율, 각성도, 풍자 유형에 대한 완전한 레이블이 제공된다.
• 다중모달 융합 모델은 풍자에서의 감정 인식 분야에서 최고 성능을 기록하여, 기존의 풍자 탐지 베이스라인을 압도적으로 뛰어넘었다.
• 조율 및 각성도 차원의 포함으로 모델이 감정 강도를 더 잘 포착할 수 있게 되었으며, 특히 미묘한 풍자에서 두드러졌다.
• 비언어적 신호에 의존하는 작동의도 풍자 유형은 가장 탐지하기 어려웠으며, 높은 정확도를 달성하기 위해 전체 다중모달 통합이 필요했다.
• 제안된 모델은 감정 인식 및 풍자 탐지 작업 양쪽에서 뚜렷한 성능 향상을 달성하여, 풍부한 다중모달 레이블의 가치를 입증하였다.