[论文解读] CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning

Jiun-Hao Jhan, Chao-Peng Liu+2 more|arXiv (Cornell University)|Oct 8, 2021

AI in Service Interactions参考文献 27被引用 8

一句话总结

CheerBots 提出了一种强化学习框架，通过概念化人类模型（CHM）建模用户未来的情绪状态变化，训练能够增强积极情绪值的情感化聊天机器人。该方法在自动评估指标和人工评估中均优于基线模型，在 EmpatheticDialogues 数据集上实现了最先进性能，通过深度强化学习微调检索式与生成式模型，优化互惠利他行为。

ABSTRACT

Apart from the coherence and fluency of responses, an empathetic chatbot emphasizes more on people's feelings. By considering altruistic behaviors between human interaction, empathetic chatbots enable people to get a better interactive and supportive experience. This study presents a framework whereby several empathetic chatbots are based on understanding users' implied feelings and replying empathetically for multiple dialogue turns. We call these chatbots CheerBots. CheerBots can be retrieval-based or generative-based and were finetuned by deep reinforcement learning. To respond in an empathetic way, we develop a simulating agent, a Conceptual Human Model, as aids for CheerBots in training with considerations on changes in user's emotional states in the future to arouse sympathy. Finally, automatic metrics and human rating results demonstrate that CheerBots outperform other baseline chatbots and achieves reciprocal altruism. The code and the pre-trained models will be made available.

研究动机与目标

• 开发超越连贯性与流畅性的共情聊天机器人，以响应用户隐含的情绪状态。
• 解决现有共情聊天机器人无法建模利他行为及对话中未来情绪状态变化的局限性。
• 使用深度强化学习训练检索式与生成式聊天机器人，以优化共情增强效果。
• 通过自动指标与人工偏好评分评估该框架的有效性。
• 确保聊天机器人生成的回应不仅认可情绪，还能随时间改善用户的情绪状态。

提出的方法

• 引入概念化人类模型（CHM）作为模拟代理，预测用户未来的情绪状态变化，使聊天机器人能够预见并以利他方式响应。
• 情绪控制器基于输入上下文检测并预测用户下一时刻的情绪状态，使用通过强化学习微调的情绪预测器。
• 响应生成器基于预测情绪生成共情回应，采用检索或序列生成方式。
• 定义共情价值度量为说话者与听者之间情绪状态的变化，通过深度强化学习进行优化，以放大积极情绪转变。
• 该框架采用说话者-听者架构，具有不同目标：CheerBot（听者）旨在提升共情价值，而CHM则模拟用户响应动态。
• 采用强化学习，其奖励函数优先考虑用户情绪改善，通过反馈而非概率估计进行衡量。

实验结果

研究问题

• RQ1 通过强化学习训练的聊天机器人能否通过预测用户未来的情绪状态变化，实现更高的共情水平？
• RQ2 通过概念化人类模型建模互惠利他行为，如何提升聊天机器人回应的共情质量？
• RQ3 检索式与生成式 CheerBots 在自动指标与人工评估中是否均优于基线模型？
• RQ4 深度强化学习微调在多大程度上增强了聊天机器人生成能改善用户情绪状态回应的能力？
• RQ5 共情增强机制在多样的情绪情境与对话轮次中是否具有鲁棒性？

主要发现

• DQN-Finetuned 检索模型在人工偏好评分中得分最高，成对 t 检验的 p 值均小于 0.05，表明与所有其他模型相比具有统计显著性。
• 人工评分者认为 DQN-Finetuned 检索模型的回应最具共情力，一半参与者选择该模型优于其他模型。
• PG-EmoPrepend 生成模型的 BLEU 分数最接近真实值，表明其回应具有较强的流畅性与相关性。
• 通过深度强化学习微调的模型在自动指标与人工评估中均显著优于非强化学习基线模型，证明共情能力得到提升。
• 检索式 CheerBots 在人工偏好中始终优于生成式模型，表明检索机制可能更有利于保持共情意图的完整性。
• 该框架通过强化学习与 CHM 模拟成功在 EmpatheticDialogues 数据集上实现最先进性能，优化共情价值。