[论文解读] Topic-Driven and Knowledge-Aware Transformer for Dialogue Emotion Detection

Lixing Zhu, Gabriele Pergola+3 more|arXiv (Cornell University)|Jun 2, 2021

Sentiment Analysis and Opinion Mining参考文献 39被引用 11

一句话总结

该论文提出TodKat，一种面向对话情感检测的主题驱动、知识感知Transformer模型，通过指针网络与加性注意力机制，整合来自Atomic和ConceptNet的微调主题表征与常识知识。该模型通过联合建模主题上下文与情感知识，在四个基准数据集上实现了最先进性能，显著通过主题感知注意力与知识融合提升了情感分类效果。

ABSTRACT

Emotion detection in dialogues is challenging as it often requires the identification of thematic topics underlying a conversation, the relevant commonsense knowledge, and the intricate transition patterns between the affective states. In this paper, we propose a Topic-Driven Knowledge-Aware Transformer to handle the challenges above. We firstly design a topic-augmented language model (LM) with an additional layer specialized for topic detection. The topic-augmented LM is then combined with commonsense statements derived from a knowledge base based on the dialogue contextual information. Finally, a transformer-based encoder-decoder architecture fuses the topical and commonsense information, and performs the emotion label sequence prediction. The model has been experimented on four datasets in dialogue emotion detection, demonstrating its superiority empirically over the existing state-of-the-art approaches. Quantitative and qualitative results show that the model can discover topics which help in distinguishing emotion categories.

研究动机与目标

• 解决对话情感检测中高度依赖对话主题与隐含常识知识的挑战。
• 克服现有模型在建模对话整体属性（如主题主题与情感上下文）方面的局限性。
• 通过整合来自Atomic和ConceptNet等知识库的微调主题表征与结构化常识知识，提升情感检测性能。
• 开发基于Transformer编码器-解码器架构的序列到序列框架，基于上下文与主题线索预测情感标签序列。

提出的方法

• 在对话数据集上微调主题增强语言模型，以提取潜在主题表征，提升低资源场景下的表示能力。
• 利用事件关系（如sE、oE）从Atomic知识库中检索常识知识，并通过ConceptNet获取知识，再通过指针网络过滤相关性。
• 采用加性注意力机制，基于上下文与主题感知查询向量，选择最显著的知识短语。
• 基于Transformer的编码器-解码器架构执行端到端序列到序列情感标签预测，建模跨话语的依赖关系。
• 应用主题驱动注意力机制，动态关注相关知识与主题，提升对模糊话语的判别能力。
• 通过门控机制整合多种知识源，实现主题与常识信号的选择性融合。

实验结果

研究问题

• RQ1 主题感知表征学习是否能提升在依赖主题语境的对话中情感检测的性能？
• RQ2 从Atomic和ConceptNet中整合细粒度常识知识对情感分类性能有何影响？
• RQ3 主题驱动注意力在多大程度上增强了模型区分模糊情感表达的能力？
• RQ4 包含多样化的常识关系类型（如sWant、oEffect）是否在不同对话数据集上一致提升模型性能？
• RQ5 所提出的基于Transformer的Seq2Seq框架与循环模型相比，在捕捉长距离情感依赖方面表现如何？

主要发现

• TodKat在四个基准数据集（DailyDialog、MELD、IEMOCAP、EmoryNLP）上达到最先进性能，Micro-F1分数显著提升。
• 在IEMOCAP数据集上，引入'sE'与'oE'关系类型后，情感检测性能提升0.5%，可能因该数据集事件密度较高。
• 在大多数数据集上，添加Atomic中的全部九种关系类型会降低性能，表明并非所有知识类型均有益，部分可能引入噪声。
• 主题驱动注意力能有效识别相关知识，减少误分类——例如，将'Oh my God, you’re a freak.'正确预测为'joyful'而非'mad'。
• 在MELD数据集中，发现的主题与情感标签之间的相关性最高（0.6429），表明该数据集中主题与情感高度对齐。
• 定性分析表明，模型学习到可解释的主题，有助于区分情感类别，例如'食物与餐厅'主题与积极情感相关。