[论文解读] Knowledge-Enriched Transformer for Emotion Detection in Textual Conversations

Peixiang Zhong, Di Wang+1 more|arXiv (Cornell University)|Sep 24, 2019

Sentiment Analysis and Opinion Mining参考文献 64被引用 9

一句话总结

本文提出了一种知识增强型变换器（KET），通过整合层次化自注意力机制进行上下文建模，并结合上下文感知的情感图注意力机制，动态地从ConceptNet和NRC_VAD中引入外部常识知识，以实现文本对话中的情感检测。KET在多个数据集上实现了最先进（SOTA）的性能，相较于先前模型显著提升了F1分数，证明了联合利用上下文与常识知识的有效性。

ABSTRACT

Messages in human conversations inherently convey emotions. The task of detecting emotions in textual conversations leads to a wide range of applications such as opinion mining in social networks. However, enabling machines to analyze emotions in conversations is challenging, partly because humans often rely on the context and commonsense knowledge to express emotions. In this paper, we address these challenges by proposing a Knowledge-Enriched Transformer (KET), where contextual utterances are interpreted using hierarchical self-attention and external commonsense knowledge is dynamically leveraged using a context-aware affective graph attention mechanism. Experiments on multiple textual conversation datasets demonstrate that both context and commonsense knowledge are consistently beneficial to the emotion detection performance. In addition, the experimental results show that our KET model outperforms the state-of-the-art models on most of the tested datasets in F1 score.

研究动机与目标

• 为解决在文本对话中检测情感的挑战，其中上下文和常识知识至关重要，但常被现有模型所忽视。
• 通过整合分层上下文建模与来自外部知识库的动态、上下文感知且情感相关的知识，提升情感检测性能。
• 探究上下文信息与常识知识对情感检测的影响，特别是在隐含或细微情感表达的情境下。
• 开发一种可在多样化对话领域中泛化，并可适应低资源或多语言场景的模型。

提出的方法

• KET采用层次化自注意力机制，将对话与回复分别处理为编码器和解码器分支，以高效建模对话结构。
• 通过交叉注意力捕捉话语间的依赖关系，使解码器能够关注编码器中的相关上下文。
• 从ConceptNet中检索外部常识知识，并通过实体嵌入将知识与词语关联，相关性由上下文感知的情感图注意力机制加权。
• 注意力机制通过可学习参数λk，动态平衡检索知识的相关性与情感性，基于情感相关性优化知识注入。
• 利用NRC_VAD对知识实体进行情感值（效价、唤醒度、支配度）增强，以引导注意力机制聚焦于情感显著的知识。
• 模型通过多分类情感分类的交叉熵损失进行端到端训练，并通过消融实验验证上下文与知识组件的贡献。

实验结果

研究问题

• RQ1 与基于RNN或CNN的模型相比，集成层次化自注意力机制在对话上下文中的情感检测性能有何提升？
• RQ2 从外部知识库中动态整合常识知识在多大程度上提升了情感检测性能？
• RQ3 在注意力机制中，知识相关性与情感性之间的最优权衡是什么？
• RQ4 该模型在具有不同情感复杂度与数据规模的多样化对话数据集上的表现如何？
• RQ5 在使用多语言知识库与情感词典的情况下，模型是否能泛化到低资源或多语言场景？

主要发现

• KET在所有测试数据集上均实现了最先进（SOTA）的F1分数，包括EC（0.7451）、DailyDialog（0.5544）、MELD（0.5401）、EmoryNLP（0.3712）和IEMOCAP（0.5389），优于先前模型。
• 消融实验表明，移除任一上下文或知识模块均导致性能显著下降，且在长对话中上下文的影响更大。
• 情感图注意力机制的最优λk值位于0.3至0.7之间，其中λk=0.7在大多数数据集上表现最佳。
• 随着ConceptNet规模增大，性能持续提升，仅在达到某一阈值后趋于平稳，证实了广泛常识知识的价值。
• 模型在检测厌恶与恐惧时表现最弱，尤其在MELD数据集中，恐惧的F1分数低至0.0667，原因在于其效价低且唤醒度高，且训练数据有限。
• 模型在不同领域间表现出强鲁棒性，并可通过多语言知识库与情感词典适配至其他语言。