[论文解读] Cascading Bandits: Learning to Rank in the Cascade Model

Branislav Kveton, Csaba Szepesvári+2 more|arXiv (Cornell University)|Feb 10, 2015

Advanced Bandit Algorithms Research参考文献 29被引用 110

一句话总结

本文提出了级联带 bandits（cascading bandits），一种用于在级联模型中学习排序的随机组合部分监控框架，其中用户仅从排序列表中选择首个吸引他们的项目。作者提出了两种基于UCB的算法——CascadeUCB1 和 CascadeKL-UCB，并建立了与推导出的下界在对数因子内匹配的间隙相关 regret 上限，展示了即使在模型违反的情况下，该方法仍具有强大的理论和实证性能。

ABSTRACT

A search engine usually outputs a list of $K$ web pages. The user examines this list, from the first web page to the last, and chooses the first attractive page. This model of user behavior is known as the cascade model. In this paper, we propose cascading bandits, a learning variant of the cascade model where the objective is to identify $K$ most attractive items. We formulate our problem as a stochastic combinatorial partial monitoring problem. We propose two algorithms for solving it, CascadeUCB1 and CascadeKL-UCB. We also prove gap-dependent upper bounds on the regret of these algorithms and derive a lower bound on the regret in cascading bandits. The lower bound matches the upper bound of CascadeKL-UCB up to a logarithmic factor. We experiment with our algorithms on several problems. The algorithms perform surprisingly well even when our modeling assumptions are violated.

研究动机与目标

• 为解决在用户点击行为遵循级联模型（即仅观察到首个被点击的项目）时，如何在网络搜索中学习项目排序的挑战。
• 将学习问题形式化为具有非线性奖励和部分反馈的随机组合部分监控问题。
• 设计高效的算法，以最小化从 L 个候选项目中识别出 K 个最具吸引力项目时的 regret。
• 建立理论 regret 上限与下限，并证明其在对数因子内紧致。
• 在类似真实世界的问题上对算法进行实证评估，包括对建模偏差的鲁棒性。

提出的方法

• 将级联模型形式化为组合 bandit 问题，其中智能体从 L 个项目中选择 K 个项目的列表，并观察首个被点击项目的索引。
• 基于 CombUCB1 算法设计 CascadeUCB1，利用项目吸引力概率的置信上界来平衡探索与利用。
• 受 KL-UCB 启发，设计 CascadeKL-UCB，使用 Kullback-Leibler 散度计算置信区间，预期在点击概率较低的场景下表现更优。
• 利用观察到的点击索引推断：在被点击项目之前的项目均不具吸引力（未被点击），之后的项目则未被观察到。
• 通过分析吸引力概率差异下次优项目被选择的期望次数，推导出基于间隙的 regret 上限。
• 证明了一个与问题相关的 regret 下界，其与 CascadeKL-UCB 的上界在对数因子内匹配，从而证明了近似最优性。

实验结果

研究问题

• RQ1 在反馈受限的情况下，学习算法能否有效识别级联模型中 K 个最具吸引力的项目？
• RQ2 CascadeUCB1 和 CascadeKL-UCB 的 regret 上限如何随项目数 L 及最优与次优项目间差距的变化而变化？
• RQ3 所提出的 regret 下界是否紧致，是否与性能最佳算法的性能相匹配？
• RQ4 当点击概率的独立性等建模假设被违反时，算法的鲁棒性如何？
• RQ5 该框架能否扩展到更复杂的排序或路由问题，且具有部分反馈？

主要发现

• CascadeKL-UCB 的 regret 上限为 O(∑_{i: w_i < w^*} (w^* - w_i)^{-1} log T)，与推导出的下界在对数因子内匹配，表明其近似最优。
• CascadeUCB1 和 CascadeKL-UCB 均实现次线性 regret，且在点击概率较低的场景（网络搜索中常见）下，CascadeKL-UCB 预期表现更优。
• 即使级联模型的假设（如点击的独立性）被违反，算法在实践中表现依然出人意料地出色。
• 级联 bandits 的 regret 下界为 Ω(L)，表明随着项目数 L 增大，问题变得难以处理。
• 推荐项目顺序的倒置会导致更小的 regret，这一现象可通过反馈结构与置信区间的特性加以解释。
• 该框架可扩展至更复杂的问题，如在具有易失效连接的网络中学习路由路径。