[论文解读] BubbleRank: Safe Online Learning to Re-Rank via Implicit Click Feedback

Chang Li, Branislav Kveton+5 more|arXiv (Cornell University)|Jun 15, 2018

Advanced Bandit Algorithms Research参考文献 35被引用 7

一句话总结

BubbleRank 是一种安全的在线学习排序算法，通过逐步将排名较低但更具吸引力的项目置换到更高位置，利用隐式点击反馈来改进初始排序列表。其遗憾边界随初始列表质量的下降而平滑退化，并通过确保在高概率下不会显著劣于基础列表来保证安全性。

ABSTRACT

In this paper, we study the problem of safe online learning to re-rank, where user feedback is used to improve the quality of displayed lists. Learning to rank has traditionally been studied in two settings. In the offline setting, rankers are typically learned from relevance labels created by judges. This approach has generally become standard in industrial applications of ranking, such as search. However, this approach lacks exploration and thus is limited by the information content of the offline training data. In the online setting, an algorithm can experiment with lists and learn from feedback on them in a sequential fashion. Bandit algorithms are well-suited for this setting but they tend to learn user preferences from scratch, which results in a high initial cost of exploration. This poses an additional challenge of safe exploration in ranked lists. We propose BubbleRank, a bandit algorithm for safe re-ranking that combines the strengths of both the offline and online settings. The algorithm starts with an initial base list and improves it online by gradually exchanging higher-ranked less attractive items for lower-ranked more attractive items. We prove an upper bound on the n-step regret of BubbleRank that degrades gracefully with the quality of the initial base list. Our theoretical findings are supported by extensive experiments on a large-scale real-world click dataset.

研究动机与目标

• 解决现有在线学习排序方法探索过度、可能损害用户体验的局限性。
• 利用隐式点击反馈，实现对初始生产排序列表的安全、渐进式改进。
• 即使初始列表质量不佳，也提供关于遗憾和安全性的理论保证。
• 支持冷启动场景，即已有离线训练的排序模型提供合理的基础列表。
• 克服现有基于 Thompson 采样方法中缺乏安全约束和先验对齐不佳的问题。

提出的方法

• BubbleRank 采用类似冒泡排序的探索策略，通过迭代交换排序列表中相邻项目来提升排序质量。
• 将重排序问题建模为一个带动作（对应相邻交换）的随机多臂赌博机，以最小化对用户体验的干扰。
• 基于错误排序的项目对数量维护安全约束，确保序列中任意列表均不会在高概率下显著劣于初始基础列表。
• 采用基于后验抽样的赌博机算法，并结合依赖间隙的遗憾分析，以平衡探索与利用。
• 该方法仅依赖列表级别的先验信息，避免了 Thompson 采样所需的项目级别先验。
• 理论分析证明，BubbleRank 的遗憾边界会随着初始基础列表质量的下降而平滑退化。

实验结果

研究问题

• RQ1 我们能否设计一种在线学习排序算法，在不损害用户体验的前提下安全地改进基础列表？
• RQ2 此类算法的遗憾如何随初始列表质量的变化而变化？
• RQ3 我们能否形式化证明该算法在高概率下永远不会显著劣于初始列表？
• RQ4 BubbleRank 在遗憾和安全性方面与最先进在线 LTR 方法（如 TopRank）相比表现如何？
• RQ5 该算法在已有离线排序模型提供良好初始排序的冷启动场景中是否能有效应用？

主要发现

• BubbleRank 实现了遗憾边界，其退化程度随初始基础列表质量的下降而平滑，当初始列表质量良好时，边界为 O(K² log n)。
• 该算法通过每步的安全约束，确保序列中任意列表在高概率下均不会显著劣于初始基础列表，从而实现安全性保障。
• 在大规模真实点击数据集上的实证评估表明，BubbleRank 在保持用户体验的同时提升了排序质量。
• 在初始条件有利时，BubbleRank 的遗憾与 TopRank 相当，但额外具备安全性优势。
• 在冷启动场景中，BubbleRank 通过避免激进探索并利用初始列表作为稳定基线，优于现有方法。
• 理论分析确认，遗憾边界中对 1/χ_min 的依赖是不可避免的，反映了该学习问题的固有难度。