[论文解读] Towards Persona-Based Empathetic Conversational Models

Peixiang Zhong, Chen Zhang+3 more|arXiv (Cornell University)|Apr 26, 2020

Persona Design and Applications参考文献 42被引用 10

一句话总结

本文提出了 PEC 数据集，这是一个大规模、多领域、基于人物设定的共情对话数据集，并提出了 CoBERT 模型，一种基于 BERT 的响应选择模型，采用多跳联合注意力机制，在性能上达到当前最先进水平。主要贡献在于首次通过实证研究证明，人物设定显著提升了共情回应能力，尤其是在模型在共情数据上进行训练时，建立了人物设定与共情能力之间在类人对话系统中的可度量关联。

ABSTRACT

Empathetic conversational models have been shown to improve user satisfaction and task outcomes in numerous domains. In Psychology, persona has been shown to be highly correlated to personality, which in turn influences empathy. In addition, our empirical analysis also suggests that persona plays an important role in empathetic conversations. To this end, we propose a new task towards persona-based empathetic conversations and present the first empirical study on the impact of persona on empathetic responding. Specifically, we first present a novel large-scale multi-domain dataset for persona-based empathetic conversations. We then propose CoBERT, an efficient BERT-based response selection model that obtains the state-of-the-art performance on our dataset. Finally, we conduct extensive experiments to investigate the impact of persona on empathetic responding. Notably, our results show that persona improves empathetic responding more when CoBERT is trained on empathetic conversations than non-empathetic ones, establishing an empirical link between persona and empathy in human conversations.

研究动机与目标

• 探究人物设定对对话人工智能中共情回应的影响。
• 解决缺乏大规模、多领域同时包含人物设定与共情的训练数据集的问题。
• 开发一种高效、有效的响应选择模型，利用人物设定实现共情响应生成。
• 通过实证验证：在共情训练设置下，人物设定是否比在非共情训练设置下更能提升共情响应能力。

提出的方法

• 提出 PEC 数据集，这是一个从 Reddit 收集的大规模、多轮、多领域数据集，标注了发言者的人物设定和共情回应。
• 设计 CoBERT 模型，一种基于 BERT 的响应选择模型，采用多跳联合注意力机制，以捕捉上下文、人物设定与候选响应之间的深层上下文与交互匹配。
• 采用联合注意力机制，使模型能够动态关注上下文、人物设定和响应表征之间的相关信息。
• 在 PEC 数据集上端到端训练 CoBERT 模型，使用对比学习目标优化响应选择。
• 使用 R@1、R@5 和 R@10 等标准指标，在已见和未见人物设定上评估模型性能。
• 开展消融研究与泛化性分析，评估人物设定长度的影响以及模型对未见发言者的鲁棒性。

实验结果

研究问题

• RQ1 在对话模型中引入人物设定如何影响共情回应的质量？
• RQ2 人物设定在提升共情回应能力方面的有效性是否取决于模型是基于共情数据还是非共情数据进行训练？
• RQ3 模型在未见过的人物设定上泛化能力如何？
• RQ4 人物设定句子数量如何影响模型性能、推理时间与内存使用？
• RQ5 人物设定在塑造共情回应的情感基调与恰当性方面起什么作用？

主要发现

• CoBERT 在 PEC 数据集上达到最先进性能，优于 Poly-encoder 及其他 BERT 微调模型，在使用 10 个人物设定句子时，验证集的 R@1 达到 46.2%。
• 当模型在共情对话上进行训练时，人物设定对提升共情回应的改善效果更为显著，表明人物设定与共情之间存在强有力的实证关联。
• 模型对未见人物设定的泛化能力良好，在包含新发言者的测试样本上达到 43.2% 的 R@1，显示出对分布外人物设定的鲁棒性。
• 随着人物设定句子数量增加，性能提升，但内存使用因 BERT 的自注意力机制呈二次方增长，因此 nP=10 是性能与资源消耗的最佳平衡点。
• 案例研究证实，不同人物设定会导致对同一上下文产生不同的共情回应，表明人物设定对情感基调与相关性的直接影响。
• 当引入人物设定时，模型在响应选择上表现出一致的性能提升，与零人物设定相比，R@1 提升了 5.9 个百分点（绝对值）。