[论文解读] Evaluating Empathetic Chatbots in Customer Service Settings

Akshay Agarwal, Shashank Maiya+1 more|arXiv (Cornell University)|Jan 5, 2021

AI in Service Interactions参考文献 14被引用 8

一句话总结

本文使用涵盖20个品牌的大型Twitter客户服务数据集，评估了情感化聊天机器人在客户服务中的表现，表明经过情绪识别与共情响应训练的模型，其回复比非共情模型更接近人类客服。主要贡献在于实证验证了共情与任务导向技能的结合能显著提升客户服务聊天机器人的回复自然度与人类相似度。

ABSTRACT

Customer service is a setting that calls for empathy in live human agent responses. Recent advances have demonstrated how open-domain chatbots can be trained to demonstrate empathy when responding to live human utterances. We show that a blended skills chatbot model that responds to customer queries is more likely to resemble actual human agent response if it is trained to recognize emotion and exhibit appropriate empathy, than a model without such training. For our analysis, we leverage a Twitter customer service dataset containing several million customeragent dialog examples in customer service contexts from 20 well-known brands.

研究动机与目标

• 探究在客户服务中，聊天机器人采用共情回复是否能提升与人类客服行为的一致性。
• 评估一种结合共情识别与任务导向回复生成的混合技能模型的有效性。
• 分析主要品牌的真实客户服务对话，评估共情对回复质量的影响。
• 确定情绪感知模型是否能产生比非共情基线更像人类的回复。
• 基于大规模社交媒体数据，为开放域客户服务聊天机器人中情感的价值提供实证证据。

提出的方法

• 本研究使用基于Twitter的客户服务数据集，包含来自20个主要品牌的数百万条对话。
• 训练一种混合技能模型，以联合识别用户情绪并生成适当的共情回复。
• 利用人工标注的情绪标签提供的监督信号，对模型进行情绪检测与回复生成的微调。
• 通过人工评估，比较模型回复与真实人类客服回复在共情与自然度方面的表现。
• 将未经过共情训练的基线模型与共情模型进行对比，以衡量性能差异。
• 使用统计分析评估回复质量与人类相似度差异的显著性。

实验结果

研究问题

• RQ1 训练聊天机器人识别情绪并作出共情回应，是否能使其回复更接近人类客服？
• RQ2 在真实客户服务对话中，共情聊天机器人的表现与非共情基线相比如何？
• RQ3 情绪感知的回复在多大程度上提升了客户服务互动中的共情感知度与自然度？
• RQ4 共情与任务导向技能的混合模型是否能超越仅专注于任务完成的模型？
• RQ5 在大规模真实世界客户服务数据中，共情对聊天机器人回复人类相似度的影响如何？

主要发现

• 共情聊天机器人生成的回复与人类客服回复相比显著更相似。
• 经过情绪识别与共情回复生成训练的模型，在人工评估中表现出更高的共情感知度。
• 混合技能模型在自然度与人类相似度指标上均优于非共情模型。
• 在情绪激动的客户服务场景中，情绪感知的回复被认为更具适宜性与情境相关性。
• 本研究证实，将共情整合到任务导向型聊天机器人中，可在不牺牲任务完成准确率的前提下提升回复质量。
• 结果表明，共情是现实世界客户服务场景中实现真实且高效聊天机器人的重要组成部分。