[论文解读] HappyBot: Generating Empathetic Dialogue Responses by Improving User Experience Look-ahead

Jamin Shin, Peng Xu+2 more|arXiv (Cornell University)|Jun 20, 2019

Topic Modeling参考文献 31被引用 42

一句话总结

本文提出 HappyBot，一种神经对话模型，通过预测用户情感前瞻（即预测用户在接收到回复后的情绪反应）来提升共情式回复生成的效果。通过训练一个情感预测器以估算这种前瞻性的心理反应，并将其作为强化学习的奖励信号，HappyBot 生成的回复更具共情性、相关性和流畅性，在人类评估中优于基线模型。

ABSTRACT

Recent neural conversation models that attempted to incorporate emotion and generate empathetic responses either focused on conditioning the output to a given emotion, or incorporating the current user emotional state. While these approaches have been successful to some extent in generating more diverse and seemingly engaging utterances, they do not factor in how the user would feel towards the generated dialogue response. Hence, in this paper, we advocate such look-ahead of user emotion as the key to modeling and generating empathetic dialogue responses. We thus train a Sentiment Predictor to estimate the user sentiment look-ahead towards the generated system responses, which is then used as the reward function for generating more empathetic responses. Human evaluation results show that our model outperforms other baselines in empathy, relevance, and fluency.

研究动机与目标

• 解决现有共情对话模型无法预判生成回复对用户情绪反应影响的局限性。
• 通过预先建模回复的情感影响，而非仅对当前情绪状态做出反应，从而提升用户体验。
• 开发一种不仅能生成相关且流畅回复，还能提供情感支持与共情的生成方法。
• 评估情感前瞻作为训练共情对话系统奖励信号的有效性。

提出的方法

• 训练一个情感预测器，以估算用户的情感前瞻——即用户在接收到系统回复后预期会感受到的情绪。
• 将预测出的情感作为强化学习中的奖励信号，以优化回复生成。
• 将情感前瞻奖励整合进序列到序列的对话生成框架中。
• 使用策略梯度方法，以情感前瞻为主要目标，微调回复生成器。
• 利用预训练语言模型作为回复生成器和情感预测器的骨干网络。
• 确保模型生成的回复不仅在语境上相关，而且对用户具有情感益处。

实验结果

研究问题

• RQ1 预测用户情感前瞻是否能提升生成对话回复的共情性？
• RQ2 与基线模型相比，纳入用户情绪前瞻预测对回复流畅性和相关性有何影响？
• RQ3 在人类评估中，使用情感前瞻作为奖励信号是否能生成更具情感支持性的回复？
• RQ4 HappyBot 的性能与那些基于当前用户情绪或使用固定情绪标签的现有模型相比如何？

主要发现

• 在人类评估中，HappyBot 在共情性、相关性和流畅性方面均优于现有基线模型。
• 情感前瞻预测模型成功捕捉了用户对生成回复的情感预期。
• 将情感前瞻作为奖励信号，可生成更具情感智能和以用户为中心的对话回复。
• 人类评估者认为 HappyBot 的回复显著更具共情性，优于基线模型。
• 该模型在不牺牲流畅性或连贯性的情况下，显著提升了回复质量。
• 该方法表明，前瞻式情感建模在共情对话生成中比反应式情绪调节更有效。