[论文解读] Leveraging User Engagement Signals For Entity Labeling in a Virtual Assistant

Deepak Muralidharan, Justine Kao+9 more|arXiv (Cornell University)|Sep 18, 2019

Topic Modeling参考文献 10被引用 11

一句话总结

本文提出了一种框架，利用用户参与信号（如点击、收听时长和内容中断）自动为对话式AI系统训练生成细粒度实体标签。通过在多任务学习设置中结合这些信号、人工标注的粗粒度标签以及知识库验证器，该方法在序列标注任务中显著提升了准确率，并将端到端任务错误率降低了24.64%，即使在低数据场景下也优于额外的人工标注数据。

ABSTRACT

Personal assistant AI systems such as Siri, Cortana, and Alexa have become widely used as a means to accomplish tasks through natural language commands. However, components in these systems generally rely on supervised machine learning algorithms that require large amounts of hand-annotated training data, which is expensive and time consuming to collect. The ability to incorporate unsupervised, weakly supervised, or distantly supervised data holds significant promise in overcoming this bottleneck. In this paper, we describe a framework that leverages user engagement signals (user behaviors that demonstrate a positive or negative response to content) to automatically create granular entity labels for training data augmentation. Strategies such as multi-task learning and validation using an external knowledge base are employed to incorporate the engagement annotated data and to boost the model's accuracy on a sequence labeling task. Our results show that learning from data automatically labeled by user engagement signals achieves significant accuracy gains in a production deep learning system, when measured on both the sequence labeling task as well as on user facing results produced by the system end-to-end. We believe this is the first use of user engagement signals to help generate training data for a sequence labeling task on a large scale, and can be applied in practical settings to speed up new feature deployment when little human annotated data is available.

研究动机与目标

• 解决对话式AI系统中序列标注任务的细粒度标注训练数据成本高且稀缺的问题。
• 通过利用自然发生的用户行为作为弱监督信号，突破监督学习的瓶颈。
• 在不严重依赖昂贵人工标注的情况下，提升模型在序列标注和端到端用户交互任务中的性能。
• 通过减少对大规模人工标注数据集的依赖，加速虚拟助手中新功能和新领域的部署。

提出的方法

• 收集用户参与信号（如点击内容、长时间收听、内容中断）作为用户意图和满意度的代理指标。
• 以保护隐私的方式，利用这些信号自动为用户请求标注细粒度实体类型（例如，musicTitle、musicArtist）。
• 训练一个多任务学习模型，联合优化粗粒度和细粒度序列标注，使用人工标注数据和参与信号标注数据。
• 集成知识库（KB）验证器，通过检查语义一致的实体关系来筛选和验证模型的高阶预测结果。
• 在生产级虚拟助手系统中端到端应用该框架，评估其对真实用户交互的影响。
• 使用经验启发式方法识别与正确意图识别强相关的可靠参与信号。

实验结果

研究问题

• RQ1 用户参与信号能否作为有效弱监督信号，在序列标注任务中生成细粒度实体标签？
• RQ2 与仅使用人工标注数据相比，将参与信号标注数据与人工标注的粗粒度数据结合，能在多大程度上提升模型准确率？
• RQ3 知识库验证器在通过过滤不一致或错误的实体标签组合来提升模型预测质量方面有多有效？
• RQ4 使用参与信号标注数据是否能带来端到端系统性能和用户端结果的可测量改进？

主要发现

• 将1倍体积的参与信号标注数据加入5k个人工标注示例中，其准确率提升幅度高于再增加5k个人工标注示例。
• 将1倍体积的参与信号标注数据加入90k个人工标注数据中，其准确率提升效果优于再增加30k个人工标注示例。
• KB验证器将包含两个或以上相关实体的样本的FGEER（细粒度实体错误率）从5.52%–6.87%降低至3.04%–3.38%，相对错误率降低约50%。
• 与基线相比，增强后的模型将端到端任务错误率降低了24.64%，证明了其在用户端结果上的改进。
• 该模型能有效处理模糊或非典型的语言模式，例如在用户行为表明偏好时，正确识别出'Play one by Metallica'中的'One'为musicTitle。
• 系统能够学习群体层面的偏好，例如更倾向于选择Metallica的歌曲'One'而非通用解释，即使个别用户的意图可能不同。