[论文解读] A Multimodal Corpus for Emotion Recognition in Sarcasm

Anupama Ray, Shubham Mishra+2 more|arXiv (Cornell University)|Jun 5, 2022

Sentiment Analysis and Opinion Mining被引用 12

一句话总结

本文介绍了MUStARD++，一个用于讽刺情绪识别的大规模多模态语料库，通过将原始MUStARD数据集规模翻倍并增加情绪、效价、唤醒度和讽刺类型等细粒度标注，扩展了原始数据集。基于此增强数据集，作者利用多模态融合模型建立了讽刺情绪识别的新基准，显著优于当前最先进的讽刺检测方法。

ABSTRACT

While sentiment and emotion analysis have been studied extensively, the relationship between sarcasm and emotion has largely remained unexplored. A sarcastic expression may have a variety of underlying emotions. For example, "I love being ignored" belies sadness, while "my mobile is fabulous with a battery backup of only 15 minutes!" expresses frustration. Detecting the emotion behind a sarcastic expression is non-trivial yet an important task. We undertake the task of detecting the emotion in a sarcastic statement, which to the best of our knowledge, is hitherto unexplored. We start with the recently released multimodal sarcasm detection dataset (MUStARD) pre-annotated with 9 emotions. We identify and correct 343 incorrect emotion labels (out of 690). We double the size of the dataset, label it with emotions along with valence and arousal which are important indicators of emotional intensity. Finally, we label each sarcastic utterance with one of the four sarcasm types-Propositional, Embedded, Likeprefixed and Illocutionary, with the goal of advancing sarcasm detection research. Exhaustive experimentation with multimodal (text, audio, and video) fusion models establishes a benchmark for exact emotion recognition in sarcasm and outperforms the state-of-art sarcasm detection. We release the dataset enriched with various annotations and the code for research purposes: https://github.com/apoorva-nunna/MUStARD_Plus_Plus

研究动机与目标

• 解决多模态交流中讽刺与潜在情绪之间未被探索的关系。
• 纠正原始MUStARD数据集中情绪标注的错误。
• 通过从情景喜剧中新增345个讽刺和非讽刺视频，扩展数据集，保持50-50的讽刺比例。
• 通过增加效价和唤醒度维度，提升情绪强度建模能力。
• 引入讽刺类型分类（命题型、嵌入型、like前缀型、施事型）作为元数据，以指导未来讽刺检测研究。

提出的方法

• 作者从与MUStARD中类似的情景喜剧中收集了345个讽刺和345个非讽刺视频片段，使数据集规模翻倍。
• 对情绪标签进行了人工重新标注，纠正了原始MUStARD数据集中343个错误标签。
• 每个话语片段均标注了九种情绪之一，并基于心理学框架标注了效价和唤醒度分数。
• 讽刺类型通过语言和多模态线索进行分类：命题型（依赖上下文）、嵌入型（文本中存在不一致）、like前缀型（使用'like'表示反讽）、施事型（非语言线索与文本矛盾）。
• 使用BERT、Wav2Vec和视频嵌入对文本、音频和视频特征进行多模态融合模型训练，采用晚期融合策略整合各模态的表示。
• 最终模型架构结合了文本（BERT）、语音（Wav2Vec）和视频（I3D）编码器，评估了早期和晚期融合策略在情绪识别中的表现。

实验结果

研究问题

• RQ1 讽刺话语背后的潜在情绪是什么？它们与表面情感有何不同？
• RQ2 在讽刺性言语中，不同讽刺类型和情绪类别下的效价和唤醒度水平如何变化？
• RQ3 文本、音频和视频的多模态融合是否能超越单模态或简单融合方法，提升讽刺中的情绪识别性能？
• RQ4 现有数据集中标注错误在多大程度上阻碍了讽刺和情绪识别的准确性？
• RQ5 讽刺类型在多大程度上影响情绪检测对模态的需求？

主要发现

• 作者纠正了原始MUStARD数据集中343个错误的情绪标签，显著提升了标注质量。
• 扩展后的MUStARD++数据集包含1,380个视频话语片段（690个讽刺，690个非讽刺），并具备完整的情绪、效价、唤醒度和讽刺类型标注。
• 多模态融合模型在讽刺情绪识别任务中达到了最先进性能，优于现有的讽刺检测基线方法。
• 引入效价和唤醒度维度显著提升了模型捕捉情绪强度的能力，尤其是在微妙讽刺情境下。
• 依赖非语言线索的施事型讽刺最难检测，需要完整的多模态融合才能实现高精度。
• 所提出的模型在情绪识别和讽刺检测任务中均取得了显著性能提升，证明了丰富多模态标注的价值。