[论文解读] BubbleRank: Safe Online Learning to Rerank.

Branislav Kveton, Chang Li+5 more|arXiv (Cornell University)|Jun 15, 2018

Advanced Bandit Algorithms Research参考文献 21被引用 5

一句话总结

BubbleRank 是一种用于安全在线学习重排序的上下文带 bandit 算法，通过逐步用更高排名、更具吸引力的项目替换较低排名、吸引力较差的项目，来改进初始基础列表。其遗憾边界随初始列表质量的下降而平滑退化，结合了离线监督与在线探索，在安全、渐进的方式下实现性能提升。

ABSTRACT

In this paper, we study the problem of safe online learning to re-rank, where user feedback is used to improve the quality of displayed lists. Learning to rank has traditionally been studied in two settings. In the offline setting, rankers are typically learned from relevance labels created by judges. This approach has generally become standard in industrial applications of ranking, such as search. However, this approach lacks exploration and thus is limited by the information content of the offline training data. In the online setting, an algorithm can experiment with lists and learn from feedback on them in a sequential fashion. Bandit algorithms are well-suited for this setting but they tend to learn user preferences from scratch, which results in a high initial cost of exploration. This poses an additional challenge of safe exploration in ranked lists. We propose BubbleRank, a bandit algorithm for safe re-ranking that combines the strengths of both the offline and online settings. The algorithm starts with an initial base list and improves it online by gradually exchanging higher-ranked less attractive items for lower-ranked more attractive items. We prove an upper bound on the n-step regret of BubbleRank that degrades gracefully with the quality of the initial base list. Our theoretical findings are supported by extensive experiments on a large-scale real-world click dataset.

研究动机与目标

• 解决在线学习重排序中的安全探索挑战，即初始排名较差时会带来高昂的用户反馈成本。
• 在单一框架中结合离线学习（高质量初始列表）与在线 bandit 学习（通过反馈自适应改进）的优势。
• 设计一种重排序算法，以最小遗憾在学习阶段逐步提升列表质量。
• 确保学习过程不会因早期有害的重排序而降低用户体验。
• 理论上将算法的遗憾边界与初始基础列表的质量关联起来。

提出的方法

• BubbleRank 从初始基础列表开始，利用 bandit 框架在高排名与低排名位置之间探索项目交换。
• 将重排序问题建模为一个序列决策过程，仅从用户反馈中学习项目相对吸引力。
• 该算法采用安全探索策略，优先将高排名中吸引力较差的项目与低排名中更具吸引力的项目进行交换。
• 使用类似上置信度（UCB）的更新规则，在部分反馈背景下平衡探索与利用。
• 遗憾分析假设初始列表并非任意差，且随着初始列表质量下降，遗憾边界平滑退化。
• 该方法设计为可逐步改进，确保在学习过程中系统性能永远不会劣于初始列表。

实验结果

研究问题

• RQ1 如何在确保在线重排序中安全学习的前提下，将离线监督与在线探索相结合？
• RQ2 从预存在的列表出发并逐步改进的在线重排序算法，其理论遗憾边界是什么？
• RQ3 初始基础列表的质量如何影响在线重排序中的学习效率与遗憾？
• RQ4 我们能否设计一种 bandit 算法，避免在早期探索阶段造成有害的重排序？
• RQ5 与标准 bandit 算法相比，所提出方法在真实点击数据中能将遗憾降低多少？

主要发现

• BubbleRank 实现了遗憾边界随初始基础列表质量下降而平滑退化，表明初始列表质量越高，遗憾显著越低。
• 该算法通过仅以每一步保持或提升列表质量的方式交换项目，确保了安全学习。
• 在大规模真实点击数据集上的大量实验表明，BubbleRank 在累积遗憾方面优于标准 bandit 基线。
• 该方法有效利用了初始列表的相关性，减少了早期阶段对高成本探索的依赖。
• 理论分析证实，当初始列表质量较差时，遗憾增长缓慢，使算法对次优起点具有鲁棒性。
• 渐进式交换机制实现了稳定可靠的性能提升，且在训练期间不会降低用户体验。