[论文解读] Cascading Bandits for Large-Scale Recommendation Problems

Shi Zong, Hao Ni+4 more|arXiv (Cornell University)|Mar 17, 2016

Advanced Bandit Algorithms Research参考文献 12被引用 82

一句话总结

本文提出线性级联Bandits，一种可扩展的在线学习框架，适用于大规模推荐系统，将物品吸引力概率建模为物品特征的线性函数。通过利用基于特征的泛化，作者设计了两种高效算法——CascadeLinTS 和 CascadeLinUCB，实现与候选物品数量 L 无关的遗憾，实践中显著优于基线方法，并可在包含 10 万+ 个物品的大型物品场景（如电影或音乐推荐）中实现实际部署。

ABSTRACT

Most recommender systems recommend a list of items. The user examines the list, from the first item to the last, and often chooses the first attractive item and does not examine the rest. This type of user behavior can be modeled by the cascade model. In this work, we study cascading bandits, an online learning variant of the cascade model where the goal is to recommend $K$ most attractive items from a large set of $L$ candidate items. We propose two algorithms for solving this problem, which are based on the idea of linear generalization. The key idea in our solutions is that we learn a predictor of the attraction probabilities of items from their features, as opposing to learning the attraction probability of each item independently as in the existing work. This results in practical learning algorithms whose regret does not depend on the number of items $L$. We bound the regret of one algorithm and comprehensively evaluate the other on a range of recommendation problems. The algorithm performs well and outperforms all baselines.

研究动机与目标

• 为解决现有级联Bandit算法在候选物品数量 L 极大时在大规模推荐系统中不切实际的问题。
• 使用级联模型对排序推荐中的用户行为进行建模，即用户选择第一个吸引他们的物品后停止浏览。
• 设计一种可扩展的学习框架，通过利用物品特征将遗憾增长从与 L 线性相关降低到次线性。
• 设计高效的算法，利用线性函数近似实现跨物品泛化，从而实现在现实推荐系统中的实际部署。

提出的方法

• 引入线性级联Bandits，假设物品的吸引力概率是已知物品特征和未知参数向量的线性函数。
• 提出 CascadeLinTS 和 CascadeLinUCB，将 Thompson Sampling 和线性 UCB 扩展至具有部分观测的级联反馈设置。
• 利用特征向量实现跨物品泛化，避免对每个物品单独估计，从而降低遗憾对 L 的依赖。
• 在假设线性泛化完美且物品吸引力独立的前提下，推导 CascadeLinUCB 的遗憾上界。
• 设计算法，通过维护对未知参数向量的置信集或后验分布，平衡探索与利用。
• 在多样化推荐任务（包括餐厅、音乐和电影）中，对 CascadeLinTS 的性能进行实证评估。

实验结果

研究问题

• RQ1 我们能否设计一种可扩展的在线学习算法，用于级联反馈下的 Top-K 物品推荐，避免遗憾随候选物品数量 L 线性增长？
• RQ2 我们如何利用物品特征实现吸引力概率估计的跨物品泛化，并降低样本复杂度？
• RQ3 在线性级联Bandit设置中，线性泛化是否能带来次线性遗憾，并在经验性能上优于非泛化基线？
• RQ4 当线性模型假设在实际中不完全成立或被违反时，所提出的算法是否仍能保持强性能？
• RQ5 与现有方法（如 CascadeUCB1 和上下文排序Bandits）相比，所提算法在遗憾和累积奖励方面表现如何？

主要发现

• 所提出的 CascadeLinTS 算法在大规模推荐问题中，性能比非泛化基线（如 CascadeUCB1）高出数个数量级。
• 由于基于特征的泛化，CascadeLinUCB 的遗憾是有界的，且不随候选物品数量 L 线性增长。
• 实证结果表明，即使线性模型假设被违反，CascadeLinTS 仍表现良好，表明对模型误设具有鲁棒性。
• 该算法能有效扩展至大规模物品集合——例如 100,000 部电影——使其适用于现实世界的推荐系统。
• 在高维物品空间中，性能提升最为显著，因为基于特征的泛化减少了对全面探索的需求。
• 结果表明，线性泛化是实现工业级推荐系统中级联Bandits实际部署的关键因素。