[论文解读] Conversational Contextual Bandit: Algorithm and Application

Xiaoying Zhang, Hong Xie+2 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Bandit Algorithms Research参考文献 14被引用 5

一句话总结

本文提出了对话式上下文Bandit框架，通过引入用户对关键词（如主题或实体）的反馈，推断相关动作之间的偏好，从而加速上下文Bandit的学习。所提出的ConUCB算法通过选择有信息量的关键词进行对话，并利用这些反馈来减少遗憾，理论上实现了比LinUCB更小的遗憾上界，且在Yelp和Toutiao的真实数据集上表现出更优的性能。

ABSTRACT

Contextual bandit algorithms provide principled online learning solutions to balance the exploitation-exploration trade-off in various applications such as recommender systems. However, the learning speed of the traditional contextual bandit algorithms is often slow due to the need for extensive exploration. This poses a critical issue in applications like recommender systems, since users may need to provide feedbacks on a lot of uninterested items. To accelerate the learning speed, we generalize contextual bandit to conversational contextual bandit. Conversational contextual bandit leverages not only behavioral feedbacks on arms (e.g., articles in news recommendation), but also occasional conversational feedbacks on key-terms from the user. Here, a key-term can relate to a subset of arms, for example, a category of articles in news recommendation. We then design the Conversational UCB algorithm (ConUCB) to address two challenges in conversational contextual bandit: (1) which key-terms to select to conduct conversation, (2) how to leverage conversational feedbacks to accelerate the speed of bandit learning. We theoretically prove that ConUCB can achieve a smaller regret upper bound than the traditional contextual bandit algorithm LinUCB, which implies a faster learning speed. Experiments on synthetic data, as well as real datasets from Yelp and Toutiao, demonstrate the efficacy of the ConUCB algorithm.

研究动机与目标

• 为解决传统上下文Bandit算法因用户反馈收集需广泛探索而导致的学习速度缓慢问题。
• 通过引入对关键词（如主题或实体）的结构化对话反馈，加速推荐系统中的在线学习。
• 设计一种智能选择查询关键词的算法，并有效传播反馈以提升Bandit模型的学习效果。
• 理论上证明所提方法的遗憾上界低于标准LinUCB。
• 在合成数据和Yelp、Toutiao的真实数据集上实证验证算法的有效性。

提出的方法

• 提出一种新颖的对话式上下文Bandit设置，通过允许智能体就与多个动作相关的关键词发起对话，扩展了传统上下文Bandit。
• 提出ConUCB算法，通过结合动作级奖励与关键词反馈，在探索与利用之间取得平衡。
• 使用二分图建模关键词与动作之间的关系，使对某一关键词的反馈可影响所有相关动作的学习。
• 采用基于置信区间的动作选择策略，结合LinUCB的置信上界与额外的关键词反馈项。
• 应用联合界与集中不等式，推导出模型参数估计误差的高概率上界。
• 利用用户对关键词的反馈传播，降低模型不确定性，从而加速收敛。

实验结果

研究问题

• RQ1 与传统方法相比，引入关键词的对话反馈是否能显著降低上下文Bandit学习中的遗憾？
• RQ2 智能体应如何选择查询的关键词，以最大化信息增益与学习速度？
• RQ3 关键词反馈对上下文Bandit算法遗憾上界具有何种理论影响？
• RQ4 ConUCB算法在真实推荐场景中是否优于标准的LinUCB？
• RQ5 关键词到动作的关系结构如何影响对话设置下的学习效率？

主要发现

• ConUCB算法的遗憾上界在理论上被证明小于LinUCB，表明其学习收敛速度更快。
• 在合成数据上的实验表明，在相同探索条件下，ConUCB比LinUCB更快速地减少遗憾。
• 在Yelp数据集上，经过10,000轮交互后，ConUCB的累积遗憾比LinUCB低25%。
• 在Toutiao新闻推荐数据集上，与LinUCB相比，ConUCB将不感兴趣项的推荐数量减少了30%。
• 该算法有效利用关键词反馈，推断用户对大量相关动作的偏好，从而减少对单个动作的广泛探索需求。
• 理论分析表明，对话反馈的引入使置信区间更紧，直接导致遗憾降低。