[论文解读] Generating Empathetic Responses by Looking Ahead the User's Sentiment

Jamin Shin, Peng Xu+2 more|arXiv (Cornell University)|Jun 20, 2019

Topic Modeling被引用 9

一句话总结

本文提出情感前瞻（Sentiment Look-ahead），一种强化学习框架，通过预测并优化用户在回复后的未来情感状态，提升共情对话生成的效果。通过建模回复对用户情绪状态的影响，该方法生成的回应比多任务学习和序列到序列模型等基线方法更具共情性、相关性和流畅性。

ABSTRACT

An important aspect of human conversation difficult for machines is conversing with empathy, which is to understand the user's emotion and respond appropriately. Recent neural conversation models that attempted to generate empathetic responses either focused on conditioning the output to a given emotion, or incorporating the current user emotional state. However, these approaches do not factor in how the user would feel towards the generated response. Hence, in this paper, we propose Sentiment Look-ahead, which is a novel perspective for empathy that models the future user emotional state. In short, Sentiment Look-ahead is a reward function under a reinforcement learning framework that provides a higher reward to the generative model when the generated utterance improves the user's sentiment. We implement and evaluate three different possible implementations of sentiment look-ahead and empirically show that our proposed approach can generate significantly more empathetic, relevant, and fluent responses than other competitive baselines such as multitask learning.

研究动机与目标

• 为解决现有神经对话模型在生成真正共情回应方面的局限性，通过考虑回应对用户情绪的影响。
• 克服当前方法仅基于当前用户情绪进行条件生成，却无法确保回应能改善用户情绪状态的不足。
• 通过建模回应后用户的未来情绪状态，为对话系统中的共情提供一种新视角。
• 评估优化未来情绪是否能生成比现有方法更具共情性、相关性和流畅性的回应。
• 展示使用情感前瞻奖励函数的强化学习在生成情感智能回应方面的有效性。

提出的方法

• 在强化学习框架中提出情感前瞻（Sentiment Look-ahead）作为奖励函数，其中奖励基于对用户下一句话语情感的预测。
• 使用预训练的情感分类器 $ g(\cdot) \in [0,1] $ 来估计下一句用户话语的情感正向程度，作为奖励信号。
• 实现情感前瞻奖励的三种变体：前向（Forward）、改进（Improvement）和模拟（Simulation），三者在估计未来情感的方式上有所不同。
• 使用强化学习训练策略网络，以生成最大化预期未来情感得分的回应。
• 采用带有注意力机制的序列到序列模型作为策略模型，基于对话历史进行条件生成，并通过策略梯度方法进行优化。
• 结合自动评估与人工评估，将模型与强基线模型（如 Seq2Seq、MultiSeq 及当前最先进模型）进行对比。

实验结果

研究问题

• RQ1 与当前最先进模型相比，建模用户未来情感是否能提升生成对话回应的共情性？
• RQ2 优化对下一句用户话语情感的预测是否能生成更具相关性和流畅性的回应？
• RQ3 情感前瞻奖励的不同实现方式（前向、改进、模拟）在共情性、流畅性和相关性方面的性能表现如何比较？
• RQ4 以情感前瞻训练的神经对话模型在多大程度上能与人类生成的共情回应相媲美？
• RQ5 预测的未来情感与人工判断的共情性之间是否存在显著相关性？

主要发现

• 情感前瞻奖励的‘改进’（Improvement）变体在人工评估中得分最高，多项选择测试中情感共情得分为 0.24，相关性得分为 0.26，流畅性得分为 0.12。
• 在与人类回应的 A/B 测试中，‘改进’模型在 14% 的共情案例中被选为更优，且平局率高达 37%，表明其性能已接近人类水平。
• 在自动评估中，‘改进’模型显著优于所有基线模型，在三项指标中均表现出与人类回应更高的语义相似度。
• 人工评估显示，‘改进’模型生成的回应最具共情性且上下文相关，例如会询问关于积极记忆的问题，而非忽视负面情绪。
• 前向（Forward）和模拟（Simulation）变体表现较差，表明未来情感的估计方式对模型成功具有关键影响。
• 高 Fleiss’ Kappa 值（共情性为 0.27，相关性为 0.20）表明标注者间一致性尚可，验证了人工评估设置的可靠性。