[论文解读] A Bandit Approach to Posterior Dialog Orchestration Under a Budget

Sohini Upadhyay, Mayank Agarwal+2 more|arXiv (Cornell University)|Jun 22, 2019

Advanced Bandit Algorithms Research参考文献 19被引用 12

一句话总结

本文提出了一种新颖的在线上下文Bandit算法——带观测的上下文感知Bandit（CABO），用于在技能执行预算限制下进行后验对话编排。通过根据上下文反馈动态选择揭示哪些技能特征，CABO在模拟和真实对话设置中均优于事前方法及先前的SOTA Bandit方法，即使在特征访问极少的情况下也表现优异。

ABSTRACT

Building multi-domain AI agents is a challenging task and an open problem in the area of AI. Within the domain of dialog, the ability to orchestrate multiple independently trained dialog agents, or skills, to create a unified system is of particular significance. In this work, we study the task of online posterior dialog orchestration, where we define posterior orchestration as the task of selecting a subset of skills which most appropriately answer a user input using features extracted from both the user input and the individual skills. To account for the various costs associated with extracting skill features, we consider online posterior orchestration under a skill execution budget. We formalize this setting as Context Attentive Bandit with Observations (CABO), a variant of context attentive bandits, and evaluate it on simulated non-conversational and proprietary conversational datasets.

研究动机与目标

• 解决在技能特征提取预算有限条件下的高效后验对话编排挑战。
• 实现在无标注训练数据前提下的在线、冷启动对话编排部署。
• 开发一种在尊重执行成本的前提下，平衡探索与利用以选择技能特征的方法。
• 在平稳与非平稳对话环境中，均优于现有的监督学习与Bandit方法。
• 支持在生产级可扩展对话系统中无缝集成新技能。

提出的方法

• 将对话编排问题形式化为一种新型上下文Bandit问题，称为带观测的上下文感知Bandit（CABO），用于建模在预算约束下未知技能特征的选择。
• 引入两阶段决策过程：第一阶段，利用查询和已知上下文特征选择要执行的技能特征；第二阶段，通过观察执行后的特征更新策略。
• 采用上下文感知的探索策略，优先选择可能提升响应选择的技能特征，使用Thompson Sampling进行动作选择。
• 将GP-UCB算法改进以建模随时间变化的奖励函数非平稳性，实现动态预算分配。
• 支持单次与增量特征揭示（S=1与S=U），实现成本与性能之间的灵活权衡。
• 采用混合评估设置，结合模拟的非对话数据与专有的对话数据集（Customer Assistant），包含真实用户反馈。

实验结果

研究问题

• RQ1 一种在线、预算感知的Bandit算法是否能在后验对话编排中优于监督学习与先前的Bandit方法？
• RQ2 在不同预算水平（即揭示的技能特征数量）下，所提出的CABO算法性能如何变化？
• RQ3 当技能相关性随时间变化时，该算法是否仍能保持强性能表现？
• RQ4 在特征访问受限的后验方法中，其性能在多大程度上可超越仅依赖预执行特征的a-priori方法？
• RQ5 选择一次揭示一个特征（S=1）还是全部同时揭示（S=U）对性能与适应性有何影响？

主要发现

• CATSO-1与CATSO-U两种CABO变体在所有测试预算下，于平稳与非平稳设置中均优于SOTA的WTSRC算法。
• 即使仅揭示2组技能特征，后验方法（CATSO-1与CATSO-U）也显著优于仅使用预执行特征的a-priori基线CTS-query。
• 在平稳环境中，CATSO-U（增量特征揭示）在所有U值下均略优于CATSO-1（同时揭示）。
• 在非平稳环境中，NCATSO-1（S=1）略优于NCATSO-U（S=U），且当揭示3个或以上特征时，两者均超越WTSRC与CTS-query。
• 该系统已成功部署至超过10万名用户，真实用户反馈与专家标注标签支持了稳健的评估。
• 结果表明，在线、预算感知的后验编排不仅可行，且优于a-priori方法与先前的Bandit方法。