[论文解读] Generating Empathetic Responses with a Large Scale Dialog Dataset.

Yubo Xie, Pearl Pu|arXiv (Cornell University)|May 14, 2021

Topic Modeling参考文献 18被引用 4

一句话总结

本文提出一个大规模、多轮对话数据集，每个话语包含32种情绪标签和9种意图标签，支持训练能够捕捉细微情感互动的共情式回复模型。所提出的模型在6,000个由人类评估的回复上优于基线模型，通过在精心筛选的数据集上进行端到端学习，显著提升了情感相关性和上下文理解能力。

ABSTRACT

The task of empathetic response generation aims at generating syntactically correct and, more importantly, emotionally appropriate responses following previous dialog turns. Existing models either directly incorporate pre-defined emotion information to guide the response generation, or use deterministic rules to decide the response emotion, ignoring the subtle emotion interactions captured in human conversations. With the advent of advanced language models, it is possible to learn the nuanced emotional exchanges captured in natural language dialogs. To fully explore the range of emotions and dialog intents, it is important to curate a dataset large enough to shed light on the general understanding of human emotional interactions in our conversations. In this paper, we describe in detail the curation process of a large-scale dialog dataset where each utterance is labeled with one of 32 emotions and 9 intent categories. We then show how to build a multi-turn empathetic dialog model that performs well compared to its baselines over 6,000 human evaluated instances.

研究动机与目标

• 为解决现有模型在捕捉细微情感互动方面的局限性，构建一个大规模、多情绪、多意图的对话数据集。
• 开发一种从丰富的情感和意图标注中学习的回复生成模型，而非依赖确定性规则或预定义的情绪标签。
• 通过建模多轮对话中的复杂情感动态，提升共情式回复生成能力。
• 通过人类标注的回复评估模型性能，以确保情感适当性和上下文连贯性。

提出的方法

• 整理了一个大规模对话数据集，包含6,000个由人类评估的对话轮次，每个轮次标注有32种情绪中的一种和9种子类别的意图。
• 构建一个端到端训练的多轮对话模型，根据上下文和情感感知表示生成回复。
• 采用先进的语言模型，学习对话轮次之间的上下文和情感依赖关系，而无需依赖人工设计的情感规则。
• 采用联合情绪-意图标注机制，为回复生成提供情感和功能双重上下文信息。
• 应用带有注意力机制的序列到序列建模方法，实现情感上下文与回复生成之间的对齐。
• 通过在6,000个回复实例上的人工标注评估模型性能，以确保情感适当性和语言流畅性。

实验结果

研究问题

• RQ1 与使用预定义情绪的模型相比，大规模、多标签对话数据集是否能提升生成回复的情感相关性？
• RQ2 联合情绪与意图标注在多大程度上提升了模型生成在情感和上下文上均恰当的回复的能力？
• RQ3 在多样化情绪分布上进行端到端学习，与基于规则或确定性情绪选择的方法相比，在共情式回复生成中是否具有显著优势？
• RQ4 该模型在多轮对话中面对多样化对话轮次和情感动态时，泛化能力如何？

主要发现

• 所提出的模型在6,000个人工评估的回复实例上表现更优，证明其在情感适当性方面优于基线模型。
• 该模型有效捕捉了对话轮次间细微的情感转变，优于依赖静态或规则化情绪分配的模型。
• 联合建模情绪与意图显著提升了回复的连贯性和上下文相关性，优于仅使用单一信号的模型。
• 包含32种情绪和9种意图的大规模数据集，使模型能够泛化到多样化的情感和对话场景。