[论文解读] Large-scale Hybrid Approach for Predicting User Satisfaction with Conversational Agents

Dookun Park, Yuan Hao+11 more|arXiv (Cornell University)|May 29, 2020

Human Mobility and Location-Based Analysis被引用 7

一句话总结

本文提出了一种大规模混合方法，通过瀑布式策略融合显式用户反馈、基于用户反馈数据的机器学习预测结果，以及基于人工标注数据的预测结果，以提升对话智能体中的用户满意度预测。该方法在性能上实现显著提升，并在不同领域间展现出更高的稳定性，优于仅依赖人工标注或仅依赖用户反馈的方法。

ABSTRACT

Measuring user satisfaction level is a challenging task, and a critical component in developing large-scale conversational agent systems serving the needs of real users. An widely used approach to tackle this is to collect human annotation data and use them for evaluation or modeling. Human annotation based approaches are easier to control, but hard to scale. A novel alternative approach is to collect user's direct feedback via a feedback elicitation system embedded to the conversational agent system, and use the collected user feedback to train a machine-learned model for generalization. User feedback is the best proxy for user satisfaction, but is not available for some ineligible intents and certain situations. Thus, these two types of approaches are complementary to each other. In this work, we tackle the user satisfaction assessment problem with a hybrid approach that fuses explicit user feedback, user satisfaction predictions inferred by two machine-learned models, one trained on user feedback data and the other human annotation data. The hybrid approach is based on a waterfall policy, and the experimental results with Amazon Alexa's large-scale datasets show significant improvements in inferring user satisfaction. A detailed hybrid architecture, an in-depth analysis on user feedback data, and an algorithm that generates data sets to properly simulate the live traffic are presented in this paper.

研究动机与目标

• 解决大规模对话智能体中人工标注用户满意度数据在可扩展性与代表性方面的局限性。
• 利用直接用户反馈作为比人工标注更具可扩展性与代表性的用户满意度代理指标。
• 通过结合人工标注预测结果，弥补在某些意图或领域中用户反馈覆盖不全的问题。
• 开发一种稳健、一致且可扩展的用户满意度预测系统，适用于在线实验与生产环境部署。
• 通过准确、实时的满意度推断，实现对话智能体的自我学习与持续进化。

提出的方法

• 采用瀑布式策略优先排序预测来源：首先使用直接用户反馈，其次使用高置信度的基于反馈的模型预测，最后使用基于人工标注的模型预测。
• 训练两个独立的机器学习模型：一个基于显式用户反馈数据，另一个基于人工标注的满意度评分。
• 混合架构通过基于置信度的路由机制整合两个模型的预测结果，以最小化低覆盖率场景下的错误。
• 引入一种合成数据生成算法，以模拟真实流量，评估模型在现实分布偏移下的性能表现。
• 在大规模Alexa数据集上评估系统，性能指标包括前20个领域的宏平均F1、精确率、召回率及标准差。
• 该方法设计具备可扩展性，未来计划通过先进机器学习技术增强融合层。

实验结果

研究问题

• RQ1 与仅依赖人工标注的模型相比，显式用户反馈是否能显著提升用户满意度预测的准确率？
• RQ2 如何通过结合用户反馈与人工标注的混合模型，实现跨多样化对话领域的更高一致性？
• RQ3 不同反馈收集率对模型性能与用户体验有何影响？
• RQ4 如何通过互补的预测来源缓解某些意图或领域中反馈覆盖不全的问题？
• RQ5 采用瀑布式策略的混合模型是否能在准确率与鲁棒性方面均优于单一来源方法？

主要发现

• 混合方法在所有评估模型中均取得了最高的宏平均F1、精确率与召回率，显著优于仅使用反馈或仅使用标注的基线模型。
• 混合模型在各领域间表现出最低的标准差，表明其在满意度预测方面具有更优的一致性。
• 将反馈收集率从1%提升至10%后，预测准确率得到可测量的提升，证实了更多反馈数据的可扩展性与实际效益。
• 即使在低反馈覆盖率的领域，该模型仍通过有效利用基于人工标注的模型作为后备，保持了高性能。
• 瀑布式策略有效优先处理了可靠的反馈信号，降低了对低置信度预测的依赖，从而提升了整体鲁棒性。
• 合成数据生成方法成功模拟了现实世界中的流量模式，使模型在分布偏移下的行为评估更加可靠。