[论文解读] Can You be More Social? Injecting Politeness and Positivity into Task-Oriented Conversational Agents

Yi‐Chia Wang, Alexandros Papangelis+4 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 72被引用 6

一句话总结

本文提出一种结合社会语言理解模块的序列到序列深度学习模型，以在保留任务相关语义内容的同时，向任务导向型对话代理注入礼貌与积极情绪。评估结果表明，该模型成功提升了生成回复的礼貌程度，且与用户响应率和任务完成率呈正相关；然而，积极情绪增强的效果不一致，原因在于情感分析结果与人类对积极情绪的感知之间存在不匹配。

ABSTRACT

Goal-oriented conversational agents are becoming prevalent in our daily lives. For these systems to engage users and achieve their goals, they need to exhibit appropriate social behavior as well as provide informative replies that guide users through tasks. The first component of the research in this paper applies statistical modeling techniques to understand conversations between users and human agents for customer service. Analyses show that social language used by human agents is associated with greater users' responsiveness and task completion. The second component of the research is the construction of a conversational agent model capable of injecting social language into an agent's responses while still preserving content. The model uses a sequence-to-sequence deep learning architecture, extended with a social language understanding element. Evaluation in terms of content preservation and social language level using both human judgment and automatic linguistic measures shows that the model can generate responses that enable agents to address users' issues in a more socially appropriate way.

研究动机与目标

• 探究人类-代理客户服务中心对话中的社会语言是否会影响用户响应率与任务完成率。
• 开发一种深度学习模型，能够生成具有可控礼貌与积极情绪水平的任务导向型回复，同时保留关键内容。
• 通过自动指标与人工判断，评估模型在保持内容准确性与提升社交得体性方面的有效性。
• 识别自动化情感检测与人类对对话中积极情绪感知之间的差异。
• 提供一种将社会语言整合到任务导向型代理中的框架，以提升用户体验与参与度。

提出的方法

• 该模型采用序列到序列神经网络架构，并增加一个社会语言理解模块，以控制生成回复中的礼貌与积极情绪水平。
• 礼貌与积极情绪通过先前文献中预训练的机器学习模型进行测量，用于分析真实的人-人客户服务中心对话。
• 训练数据来自一个拼车应用注册支持系统的实际对话，已对社会语言使用情况进行标注。
• 通过损失函数平衡内容保留与社会语言注入，对模型进行微调，以生成具有期望礼貌或积极情绪水平的回复。
• 通过众包方式进行人工评估，评分者在量表上判断回复的礼貌与积极情绪水平，同时利用自动指标验证内容保留程度。
• 通过自动语言度量与人工判断相结合的方式评估框架，以衡量内容保真度与社会语言表达的有效性。

实验结果

研究问题

• RQ1 在任务导向型对话中，人类代理使用社会语言是否与用户响应率提升及任务完成率增加相关？
• RQ2 深度学习模型能否在保持内容准确性的同时，有效生成具有礼貌与积极情绪的回复？
• RQ3 自动化情感分类器在衡量对话回复中积极情绪时，与人类感知相比如何？
• RQ4 礼貌与积极情绪在真实世界任务导向型对话中对用户参与度有何影响？
• RQ5 所提出的模型能否通过增强代理回复中的社会语言表达，改善真实客户服务中心的业务成果？

主要发现

• 人类代理回复中的礼貌程度与司机响应率显著正相关，且与首次行程完成率提升有关。
• 积极情绪与任务完成率呈正相关，但与响应率呈负相关，表明其与用户行为之间关系复杂。
• 该模型成功提升了生成回复的礼貌程度，87%的人工评分者认为增强后的回复比未增强的更礼貌。
• 模型未显著提升对积极情绪的感知，仅有13%的评分者认为增强积极情绪的回复更积极，表明情感分析结果与人类感知之间存在不匹配。
• 礼貌判断的评分者一致性为中等，但积极情绪判断的一致性较低（kappa = .2），表明在对话语境中定义与评估积极情绪存在模糊性。
• 研究结果表明，尽管基于情感的模型能有效检测礼貌，但其与人类对积极情绪的理解可能不一致，未来工作需针对积极情绪进行更精准的建模。