[论文解读] Constructing Emotion Consensus and Utilizing Unpaired Data for Empathetic Dialogue Generation

Lei Shen, Jinchao Zhang+3 more|arXiv (Cornell University)|Sep 16, 2021

Topic Modeling参考文献 41被引用 5

一句话总结

本文提出 Dual-Emp，一种双生成模型，通过离散潜在变量建模情感共识，联合学习从上下文到回复的前向（context-to-response）和从回复到上下文的后向（response-to-context）对话生成。通过利用开放域对话中未配对的情感数据构建伪标签训练对，Dual-Emp 提升了共情式回复生成的效果，在 EmpatheticDialogues 基准测试中实现了流畅性、连贯性和共情力方面的最先进性能。

ABSTRACT

Researches on dialogue empathy aim to endow an agent with the capacity of accurate understanding and proper responding for emotions. Existing models for empathetic dialogue generation focus on the emotion flow in one direction, that is, from the context to response. We argue that conducting an empathetic conversation is a bidirectional process, where empathy occurs when the emotions of two interlocutors could converge on the same point, i.e., reaching an emotion consensus. Besides, we also find that the empathetic dialogue corpus is extremely limited, which further restricts the model performance. To address the above issues, we propose a dual-generative model, Dual-Emp, to simultaneously construct the emotion consensus and utilize some external unpaired data. Specifically, our model integrates a forward dialogue model, a backward dialogue model, and a discrete latent variable representing the emotion consensus into a unified architecture. Then, to alleviate the constraint of paired data, we extract unpaired emotional data from open-domain conversations and employ Dual-Emp to produce pseudo paired empathetic samples, which is more efficient and low-cost than the human annotation. Automatic and human evaluations demonstrate that our method outperforms competitive baselines in producing coherent and empathetic responses.

研究动机与目标

• 为解决共情对话生成中单向建模的局限性，即共情被视为从上下文到回复的单向流动。
• 将共情形式化为以情感共识为中心的双向过程，使说话者与听者在情感上达成一致。
• 通过有效利用开放域对话中大规模未配对的情感语句，克服配对共情对话数据稀缺的问题。
• 开发一个统一的生成框架，联合优化前向与后向生成，同时通过离散潜在变量建模共享的情感理解。

提出的方法

• Dual-Emp 在单一架构中整合了前向对话模型（context → response）与后向对话模型（response → context）。
• 引入一个离散潜在变量 $ z_e $ 以表示上下文与回复之间共享的情感共识，捕捉高层次的情感对齐。
• 通过情感增强注意力机制，将情感共识 $ z_e $ 应用于两个解码器，以生成更具共情力的回复。
• 从 Reddit 和 Twitter 中使用预训练的 32 类情感分类器提取未配对的情感数据，用于生成伪配对样本。
• 联合训练目标结合了真实配对数据与伪配对数据，采用温度控制损失以稳定在噪声较大的未配对标签上的训练过程。
• 采用两种优化策略进行训练：一种用于配对数据，另一种用于伪配对数据，从而实现有效的知识迁移。

实验结果

研究问题

• RQ1 将共情建模为具有共享情感共识的双向过程，是否能提升回复生成质量？
• RQ2 在配对数据有限的情况下，利用未配对情感数据在增强共情对话生成方面效果如何？
• RQ3 引入用于情感共识的离散潜在变量是否能带来更连贯且情感更准确的回复？
• RQ4 模型性能在不同置信度的未配对数据标签下如何变化？

主要发现

• Dual-Emp 在 EmpatheticDialogues 基准测试中达到最先进性能，在自动评估与人工评估中均优于竞争性基线模型。
• 模型在全部 32 种情感类别中均提升了情感识别准确性，且分布更加均衡，优于单向模型。
• 人工评估显示，Dual-Emp 生成的回复在流畅性、连贯性与共情力方面均优于 MoEL、Emp-DG 和 MIME 等基线模型。
• 模型能生成符合语境的回复，准确识别并反映细微的情感转变，例如从“失业”到“希望找到新工作”。
• 由未配对语句生成的伪配对数据显著提升了模型性能，即使标签存在噪声，也证明了数据增强策略的有效性。
• 增加未配对数据量并不总是能提升结果，表明标签质量和置信度是数据选择中的关键因素。