[论文解读] Bernoulli Rank-$1$ Bandits for Click Feedback

Sumeet Katariya, Branislav Kveton+3 more|arXiv (Cornell University)|Mar 19, 2017

Advanced Bandit Algorithms Research参考文献 3被引用 6

一句话总结

本文提出 Rank1ElimKL，一种针对伯努利分布秩-1 bandits 的改进消除算法，用更紧致的 Kullback-Leibler（KL）散度基置信区间替代 Rank1Elim 中的次高斯置信区间。关键贡献在于，Rank1ElimKL 通过利用秩-1 结构，在最小平均奖励 μ 趋近于零时仍能实现所有实例（包括良性与困难实例）的最优遗憾尺度，且不损失性能。

ABSTRACT

The probability that a user will click a search result depends both on its relevance and its position on the results page. The position based model explains this behavior by ascribing to every item an attraction probability, and to every position an examination probability. To be clicked, a result must be both attractive and examined. The probabilities of an item-position pair being clicked thus form the entries of a rank-$1$ matrix. We propose the learning problem of a Bernoulli rank-$1$ bandit where at each step, the learning agent chooses a pair of row and column arms, and receives the product of their Bernoulli-distributed values as a reward. This is a special case of the stochastic rank-$1$ bandit problem considered in recent work that proposed an elimination based algorithm Rank1Elim, and showed that Rank1Elim's regret scales linearly with the number of rows and columns on "benign" instances. These are the instances where the minimum of the average row and column rewards $μ$ is bounded away from zero. The issue with Rank1Elim is that it fails to be competitive with straightforward bandit strategies as $μ ightarrow 0$. In this paper we propose Rank1ElimKL which simply replaces the (crude) confidence intervals of Rank1Elim with confidence intervals based on Kullback-Leibler (KL) divergences, and with the help of a novel result concerning the scaling of KL divergences we prove that with this change, our algorithm will be competitive no matter the value of $μ$. Experiments with synthetic data confirm that on benign instances the performance of Rank1ElimKL is significantly better than that of even Rank1Elim, while experiments with models derived from real data confirm that the improvements are significant across the board, regardless of whether the data is benign or not.

研究动机与目标

• 解决 Rank1Elim 的局限性，即当最小平均行或列奖励 μ 趋近于零时，遗憾尺度表现不佳。
• 开发一种算法，在良性秩-1 实例（μ 与零保持正距离）上保持强性能，同时在困难实例上仍具竞争力。
• 利用点击反馈中位置基础模型（PBM）的结构，其中点击概率因吸引与检查效应形成秩-1 矩阵。
• 提供理论与实证证据，证明在极端参数环境下，KL 基置信区间相比次高斯区间可改善遗憾边界与实际性能。

提出的方法

• 将 Rank1Elim 中的 UCB1 风格次高斯置信区间替换为 KL 散度基置信区间，以提升估计精度。
• 利用 KL 散度的缩放特性，推导出更紧致的置信边界，使其能自适应真实奖励分布，尤其在低 μ 环境下。
• 采用基于消除的策略，根据新的 KL 基置信区间逐步剔除次优行与列臂。
• 提出一个关于伯努利分布中 KL 散度缩放的新理论结果，以证明改进的遗憾边界。
• 实现算法时引入停止规则，确保以高概率剔除所有期望奖励低于最优值的臂。
• 使用最大似然估计法估计行与列的均值，并应用 KL 基置信边界指导臂的选择与剔除。

实验结果

研究问题

• RQ1 KL 散度基置信区间是否能改善 Rank1Elim 在原始算法失效的低 μ 环境下的遗憾性能？
• RQ2 所提出的算法 Rank1ElimKL 是否在良性实例（μ 与零保持正距离）上保持强性能，同时对困难实例具有鲁棒性？
• RQ3 Rank1ElimKL 的理论遗憾边界为何？其与 μ 和 Δ（最小间隙）的缩放关系相较于 Rank1Elim 如何？
• RQ4 Rank1ElimKL 在合成与真实点击模型上的实证性能，相较于 Rank1Elim 与标准 bandit 基线（如 UCB1）表现如何？
• RQ5 该算法是否能有效利用点击反馈数据的秩-1 结构，而无需在结构微弱或不存在时承担惩罚？

主要发现

• Rank1ElimKL 在 '大海捞针' 问题中实现 O(K² log n) 的遗憾边界，显著优于 Rank1Elim 的 O(K³ log n) 边界。
• 在良性实例上，Rank1ElimKL 的表现甚至优于 Rank1Elim，表明更紧致的 KL 基置信区间可加速收敛并降低遗憾。
• 在 Yandex 数据集的真实点击模型中，Rank1ElimKL 在所有查询上均持续优于 Rank1Elim 与 UCB1，包括 μ 较低的查询。
• 该算法在 Rank1Elim 失效的困难实例上仍保持强性能，表明其对可利用秩-1 结构的缺失具有鲁棒性。
• 实证结果证实，KL 基置信区间的理论改进可转化为实际收益，尤其在极端参数环境下表现显著。
• Rank1ElimKL 的遗憾与 1/Δ 的缩放关系达到最优，匹配已知的下界，且在 μ 的依赖关系上相比 Rank1Elim 显著改善。