[论文解读] Handling Long-Tail Queries with Slice-Aware Conversational Systems

Cheng Wang, Sun Kim+6 more|arXiv (Cornell University)|Apr 26, 2021

Advanced Graph Neural Networks参考文献 26被引用 5

一句话总结

本文提出了一种切片感知的对话式AI系统，通过在预训练的技能路由模型中引入基于切片的学习（SBL），提升了低流量、高影响（尾部）查询的性能。通过定义特定意图的标注函数并引入切片感知注意力机制，该方法在20个监控的尾部意图中提升了14个的模型准确率，同时最小化了性能下降，其稳定性和覆盖范围优于传统的过采样方法。

ABSTRACT

We have been witnessing the usefulness of conversational AI systems such as Siri and Alexa, directly impacting our daily lives. These systems normally rely on machine learning models evolving over time to provide quality user experience. However, the development and improvement of the models are challenging because they need to support both high (head) and low (tail) usage scenarios, requiring fine-grained modeling strategies for specific data subsets or slices. In this paper, we explore the recent concept of slice-based learning (SBL) (Chen et al., 2019) to improve our baseline conversational skill routing system on the tail yet critical query traffic. We first define a set of labeling functions to generate weak supervision data for the tail intents. We then extend the baseline model towards a slice-aware architecture, which monitors and improves the model performance on the selected tail intents. Applied to de-identified live traffic from a commercial conversational AI system, our experiments show that the slice-aware model is beneficial in improving model performance for the tail intents while maintaining the overall performance.

研究动机与目标

• 解决商业对话式AI系统中长尾但关键用户查询模型性能低下的挑战。
• 在不降低整体系统性能的前提下，提升低流量、高影响意图的模型泛化能力和可靠性。
• 评估基于切片的学习（SBL）是否能提供比传统数据增强技术（如过采样）更稳定、更有效的改进。
• 开发一种可扩展的方法，用于监控和增强由意图语义定义的特定数据子群（切片）上的模型行为。

提出的方法

• 定义切片函数（标注函数）以识别并隔离特定的尾部意图，实现针对性的监控与优化。
• 使用预训练的技能路由模型（记为 $\mathbf{P}$）作为主干模型，提取查询表征。
• 通过引入能动态加权不同意图切片贡献的注意力机制，将 $\mathbf{P}$ 扩展为切片感知架构。
• 采用基于温度控制的概率分布，在尾部意图切片上实现两种注意力权重函数，以平衡探索与利用。
• 利用标注函数提供的弱监督信号训练切片感知模型 ($\mathbf{S}$)，实现对选定切片的针对性优化。
• 基于真实世界去标识化的用户查询数据，将切片感知模型 ($\mathbf{S}$) 与基线模型 ($\mathbf{P}$) 及基于过采样的变体 ($\mathbf{P}_{up}$) 进行对比。

实验结果

研究问题

• RQ1 基于切片的学习（SBL）是否能有效提升商业对话式AI系统中低流量但关键的尾部意图的性能？
• RQ2 在尾部意图的准确率提升和稳定性方面，切片感知模型相较于标准过采样策略表现如何？
• RQ3 切片感知架构在增强特定意图切片的同时，对整体系统性能的维持程度如何？
• RQ4 与数据增强相比，切片感知模型中的注意力机制是否能实现更均衡、更一致的性能提升，覆盖多样化的尾部意图？

主要发现

• 与仅在5个尾部意图中提升的过采样基线 ($\mathbf{P}_{up}$) 相比，切片感知模型 ($\mathbf{S}$) 在20个监控的尾部意图中提升了14个。
• 切片感知模型在20个尾部意图上的平均性能下降仅为 –0.21%，而过采样方法的平均下降为 –2.41%。
• 对于测试实例少于1,000个的意图ID 20，过采样方法导致了严重的性能下降（–21.21%），而切片感知模型保持了稳定的 0.00% 差异。
• 切片感知模型在低资源意图上表现出更均衡的性能提升，且在多样化尾部意图类别中实现了持续的改进。
• 带有温度控制概率分布的注意力机制，实现了对相关切片的有效且稳定的关注，而不会过度拟合于高流量切片。
• 切片感知方法有效抑制了在关键但罕见意图上出现的意外性能下降，在真实流量条件下表现出比过采样更强的鲁棒性。