[论文解读] I Know the Feeling: Learning to Converse with Empathy

Hannah Rashkin, Eric M. Smith+2 more|arXiv (Cornell University)|Sep 27, 2018

Topic Modeling参考文献 20被引用 31

一句话总结

本文提出了EmpatheticDialogues数据集，包含25,000段带有情感背景的对话，并提出了一项新的共情对话生成任务。通过训练模型实时预测并回应情感，该方法在感知共情度、相关性以及BLEU分数方面均优于基线模型。

ABSTRACT

Beyond understanding what is being discussed, human communication requires an awareness of what someone is feeling. One challenge for dialogue agents is being able to recognize feelings in the conversation partner and reply accordingly, a key communicative skill that is trivial for humans. Research in this area is made difficult by the paucity of large-scale publicly available datasets both for emotion and relevant dialogues. This work proposes a new task for empathetic dialogue generation and EmpatheticDialogues, a dataset of 25k conversations grounded in emotional contexts to facilitate training and evaluating dialogue systems. Our experiments indicate that models explicitly leveraging emotion predictions from previous utterances are perceived to be more empathetic by human evaluators, while improving on other metrics as well (e.g. perceived relevance of responses, BLEU scores).

研究动机与目标

• 解决对话式人工智能中缺乏大规模、公开可用的共情对话与情感识别数据集的问题。
• 为对话系统开发一项新任务，要求识别并回应对话中的情感状态。
• 创建一个高质量、带有情感背景的数据集，以支持共情对话模型的训练与评估。
• 提升模型生成情感恰当且上下文相关响应的能力。

提出的方法

• 对25,000段人工撰写的对话进行显式情感背景标注，构建EmpatheticDialogues数据集。
• 使用上下文嵌入训练对话模型，以预测前一句中的情感。
• 基于预测的情感生成回应，以生成具有共情性的回复。
• 通过情感感知解码对序列到序列模型进行微调，以提升响应的相关性与共情度。
• 使用BLEU等自动指标与人工评估相结合，以衡量响应质量与共情度。
• 对比具有与不具有情感预测的模型，以分离情感感知对响应质量的影响。

实验结果

研究问题

• RQ1 在带有情感背景的对话上进行训练的模型，是否能被人类评估者认为更具共情性？
• RQ2 从先前话语中引入情感预测，对响应的相关性与流畅性有何影响？
• RQ3 使用大规模、情感标注的数据集在多大程度上提升了共情对话模型的性能？
• RQ4 是否显式利用情感上下文的模型在自动指标与人工评估指标上均优于基线模型？

主要发现

• 使用前一句预测情感的模型，被人类评估者评为显著更具共情性。
• 所提出的方法提升了自动指标，包括BLEU分数，表明响应更具流畅性与覆盖度。
• 当模型基于对话历史中预测的情感状态进行条件生成时，响应的相关性得到增强。
• EmpatheticDialogues数据集使共情对话生成在基线模型基础上实现了稳定且可量化的性能提升。
• 人工评估确认，情感感知模型能够生成更具上下文相关性与情感响应性的回复。
• 将情感预测整合到生成流程中，显著提升了感知共情度，且未牺牲响应质量。