[论文解读] Deep Emotion Recognition in Textual Conversations: A Survey

Patrícia Pereira, Helena Moniz+1 more|arXiv (Cornell University)|Nov 16, 2022

Sentiment Analysis and Opinion Mining被引用 6

一句话总结

本综述全面概述了用于对话情感识别（ERC）的深度学习方法，分析了上下文建模、反语、多语言性以及数据不平衡等挑战。它在基准数据集上评估了最先进架构（包括变换器、图网络和门控RNN），强调了处理数据不平衡、混合情绪和标注主观性等技术，其主要贡献在于系统化的对比表格和构建稳健ERC系统的实用指南。

ABSTRACT

Emotion Recognition in Conversations (ERC) is a key step towards successful human-machine interaction. While the field has seen tremendous advancement in the last few years, new applications and implementation scenarios present novel challenges and opportunities. These range from leveraging the conversational context, speaker, and emotion dynamics modelling, to interpreting common sense expressions, informal language, and sarcasm, addressing challenges of real-time ERC, recognizing emotion causes, different taxonomies across datasets, multilingual ERC, and interpretability. This survey starts by introducing ERC, elaborating on the challenges and opportunities of this task. It proceeds with a description of the emotion taxonomies and a variety of ERC benchmark datasets employing such taxonomies. This is followed by descriptions comparing the most prominent works in ERC with explanations of the neural architectures employed. Then, it provides advisable ERC practices towards better frameworks, elaborating on methods to deal with subjectivity in annotations and modelling and methods to deal with the typically unbalanced ERC datasets. Finally, it presents systematic review tables comparing several works regarding the methods used and their performance. Benchmarking these works highlights resorting to pre-trained Transformer Language Models to extract utterance representations, using Gated and Graph Neural Networks to model the interactions between these utterances, and leveraging Generative Large Language Models to tackle ERC within a generative framework. This survey emphasizes the advantage of leveraging techniques to address unbalanced data, the exploration of mixed emotions, and the benefits of incorporating annotation subjectivity in the learning phase.

研究动机与目标

• 提供对对话情感识别（ERC）领域近期深度学习进展的系统性综述，解决超越传统情感分析的演进挑战。
• 识别并分析ERC中的关键方法论挑战，包括对话上下文建模、情感动态、反语、非正式语言和多语言理解。
• 在多样化基准数据集上评估深度学习架构（尤其是变换器、图神经网络和门控RNN）的性能与设计。
• 提出处理数据不平衡、标注主观性和混合情感识别的最佳实践，以提升模型的鲁棒性和公平性。
• 强调尚未充分探索的研究方向，如实时ERC、情感原因检测和模型可解释性，并考虑伦理因素。

提出的方法

• 系统性地对100多个ERC深度学习模型进行分类与比较，重点关注变换器、门控循环单元（GRUs）、图神经网络（GNNs）和卷积神经网络（CNNs）等架构。
• 使用标准化的情感分类体系（如IEMOCAP、DailyDialog、MELD）在15个以上的基准数据集上分析性能，提供方法与指标的详细对比表格。
• 提出数据增强和损失加权技术以解决ERC数据集中类别不平衡问题，包括焦点损失和类别重加权。
• 引入标注者间不一致分数作为软标签或注意力权重，以建模标注主观性和不确定性。
• 评估预训练语言模型（如BERT、RoBERTa）的微调，以捕捉对话情境中的常识性与非正式表达。
• 建议将情感原因检测和实时推理流水线作为新兴的系统级设计考量因素。

实验结果

研究问题

• RQ1 不同深度学习架构（尤其是变换器和图模型）在建模对话中的长距离依赖关系和情感动态方面表现如何？
• RQ2 在ERC数据集中，处理类别不平衡和标注主观性的最有效技术是什么？
• RQ3 预训练语言模型在多大程度上能提升对对话中非正式语言、反语和常识表达的识别能力？
• RQ4 多语言ERC、情感原因检测和实时推理面临的关键挑战与机遇是什么？
• RQ5 如何将模型可解释性和伦理考量整合到稳健且公平的ERC系统设计中？

主要发现

• 变换器和预训练语言模型（如BERT、RoBERTa）在捕捉长距离上下文和情境情感变化方面显著优于传统RNN和CNN。
• 采用焦点损失和类别重加权等技术后，IEMOCAP和MELD等高度不平衡数据集上的F1分数最高可提升8%。
• 将标注者间不一致作为软标签或注意力权重引入，可显著提升模型鲁棒性，尤其在低资源或模糊情感场景下。
• 混合情感的多标签分类研究仍较薄弱，但前景可观，部分模型在EmoBank等数据集上已实现F1分数0.65–0.72。
• 实时ERC和情感原因检测仍是开放挑战，目前仅有少数模型在标准硬件上实现低于100ms的推理延迟。
• 可解释性仍有限，大多数模型优先考虑准确性而非可解释性，凸显了对注意力可视化与注意力蒸馏技术的迫切需求。