[论文解读] CoMAE: A Multi-factor Hierarchical Framework for Empathetic Response Generation

Chujie Zheng, Yong Liu+3 more|arXiv (Cornell University)|May 18, 2021

Topic Modeling参考文献 39被引用 7

一句话总结

本文提出 CoMAE，一种用于共情回复生成的多因素分层框架，通过结构化、依赖驱动的层级关系建模沟通机制、对话行为和情感。通过基于 GPT-2 的架构整合这些因素，CoMAE 显著提升了回复的共情能力，在自动评估与人工评估中均达到最先进性能，分层建模在准确选择与实现共情因素方面被证明至关重要。

ABSTRACT

The capacity of empathy is crucial to the success of open-domain dialog systems. Due to its nature of multi-dimensionality, there are various factors that relate to empathy expression, such as communication mechanism, dialog act and emotion. However, existing methods for empathetic response generation usually either consider only one empathy factor or ignore the hierarchical relationships between different factors, leading to a weak ability of empathy modeling. In this paper, we propose a multi-factor hierarchical framework, CoMAE, for empathetic response generation, which models the above three key factors of empathy expression in a hierarchical way. We show experimentally that our CoMAE-based model can generate more empathetic responses than previous methods. We also highlight the importance of hierarchical modeling of different factors through both the empirical analysis on a real-life corpus and the extensive experiments. Our codes and used data are available at https://github.com/chujiezheng/CoMAE.

研究动机与目标

• 解决现有共情回复生成模型将共情因素独立处理而非分层处理的局限性。
• 在统一的分层框架中建模共情的多维特性——具体为沟通机制、对话行为和情感。
• 通过实证验证分层建模在提升共情因素选择与实现方面的必要性与有效性。
• 基于 GPT-2 开发 CoMAE 模型，生成更具共情性、连贯性与上下文相关性的回复。
• 证明共情因素之间的分层依赖关系优于独立或平面化建模，能带来更优性能。

提出的方法

• CoMAE 将共情因素按分层依赖关系组织：沟通机制（CM）→ 对话行为（DA）→ 情感（EM），反映现实语言中的依赖关系。
• 该框架采用多任务学习设置，每个共情因素均基于层级中前序因素进行预测与条件控制。
• 基于 GPT-2 的解码器生成回复，其条件基于 CM、DA 和 EM 的分层嵌入，且共享的 CoMAE 嵌入在回复的所有标记中统一应用。
• 模型使用独立分类器从输入上下文预测 CM、DA 和 EM，实现基于因素的回复生成。
• 通过条件依赖关系强制实现分层建模：CM 影响 DA，DA 影响 EM，从而减少冲突或不连贯的因子组合。
• 该框架支持因子预测与回复生成，基于 Reddit 的共情对话语料库进行自动与人工评估。

实验结果

研究问题

• RQ1 与独立或平面化建模相比，对共情因素（CM → DA → EM）进行分层建模是否能带来更优的回复生成效果？
• RQ2 整合沟通机制、对话行为与情感是否能提升生成回复的共情性与连贯性？
• RQ3 分层依赖关系如何影响共情因子预测的准确性及其在生成回复中的实现效果？
• RQ4 所提出的 CoMAE 框架在自动与人工评估中相较于现有方法的优越程度如何？
• RQ5 共情因子的分层结构与模型性能提升之间是否存在显著相关性？

主要发现

• 当所有三个共情因素均以分层方式建模时，CoMAE 模型在自动评估中取得最高得分（CM 为 70.7，DA 为 76.2，EM 为 72.6）。
• 分层建模显著提升了共情因素的实现效果，符号检验的 p 值均小于 0.00001，表明统计上显著的性能增益。
• 人工评估确认，CoMAE 生成的回复比以往方法更具共情性与吸引力，尤其在多种共情因素组合时表现更优。
• 该模型在因子预测准确率方面表现更优，且预测与实现的共情因子之间对齐程度更高，尤其在强制执行 CM → DA → EM 依赖关系时。
• 案例研究显示，分层建模使情感与沟通风格的表达更自然、更符合上下文，例如实现情感反应与解释的结合。
• 该框架表明，独立建模（如 CM || DA || EM）导致性能次优，而分层建模（CM → DA → EM）则实现了连贯且上下文一致的共情表达。