[论文解读] Contextual Bandit Algorithms with Supervised Learning Guarantees

Alina Beygelzimer, John Langford+3 more|arXiv (Cornell University)|Feb 22, 2010

Advanced Bandit Algorithms Research参考文献 23被引用 203

一句话总结

该论文提出 Exp4.P，一种上下文Bandit算法，在对抗性设置下实现了 $O(\sqrt{KT\ln N})$ 的高概率遗憾界，优于以往仅在期望下保证此类边界的算法（如 Exp4）。通过引入方差感知的重要性加权估计与保守探索策略，Exp4.P 实现了与监督学习相当的可靠性能，即使在与大规模或无限策略类比较时，也能通过 VC-维数的保证实现良好表现。

ABSTRACT

We address the problem of learning in an online, bandit setting where the learner must repeatedly select among $K$ actions, but only receives partial feedback based on its choices. We establish two new facts: First, using a new algorithm called Exp4.P, we show that it is possible to compete with the best in a set of $N$ experts with probability $1-δ$ while incurring regret at most $O(\sqrt{KT\ln(N/δ)})$ over $T$ time steps. The new algorithm is tested empirically in a large-scale, real-world dataset. Second, we give a new algorithm called VE that competes with a possibly infinite set of policies of VC-dimension $d$ while incurring regret at most $O(\sqrt{T(d\ln(T) + \ln (1/δ))})$ with probability $1-δ$. These guarantees improve on those of all previous algorithms, whether in a stochastic or adversarial environment, and bring us closer to providing supervised learning type guarantees for the contextual bandit setting.

研究动机与目标

• 通过提供与标准监督学习中相当的高概率遗憾保证，弥合监督学习与上下文Bandit学习之间的差距。
• 通过引入一种方差受控的变体，解决 Exp4 仅在期望下实现高概率遗憾界的问题，确保高概率性能。
• 通过使用基于 VC-维数的遗憾界将 Exp4.P 作为子程序，实现对大规模或无限策略类的有效学习。
• 提供一种实用且高效的算法，在保持性能保证的同时，可部署于大规模数据的真实世界系统中。

提出的方法

• Exp4.P 通过引入一个考虑重要性加权奖励估计方差的保守探索项，对 Exp4 算法进行修改，使用基于 $\sqrt{\ln(N/\delta)/(KT)}$ 的置信区间。
• 该算法维护每个专家的权重 $w_{\bf a}(t)$，通过每轮加权估计的和进行更新，更新规则基于添加了方差控制的对数损失函数。
• 采用权重更新的结构化分解，将 $w_{\bf a}(t+1)$ 表示为所有专家的乘积 $\prod_b g_{b,a_b}(t)$，通过每专家的求和 $\sum_j g_{b,j}(t)$ 实现高效计算。
• 最终的动作选择概率 $p_j(t)$ 通过专家加权平均计算，使用归一化权重 $\frac{d_b(t) g_{b,j}(t)}{\sum_{j'} g_{b,j'}(t)}$，实现 $K$ 和 $B$ 上的线性时间复杂度。
• 对于 VC-维数为 $d$ 的无限策略类，Exp4.P 作为黑箱子程序使用，在随机假设下实现高概率遗憾界 $O(\sqrt{Td\ln T})$。
• 通过为新文章动态评分的机制，该算法在实践中实现了高效实现，确保大规模部署中初始权重的稳定性。

实验结果

研究问题

• RQ1 上下文Bandit算法能否在对抗性设置下实现 $O(\sqrt{KT\ln N})$ 的高概率遗憾界，与监督学习性能相匹配？
• RQ2 为何原始 Exp4 算法尽管具有良好的期望遗憾，却无法实现高概率遗憾界？如何修正这一问题？
• RQ3 Exp4.P 能否有效与无限策略集竞争？在随机假设下，其最终的遗憾界是什么？
• RQ4 Exp4.P 中的保守探索策略与更贪婪的替代方案相比，在真实世界部署中的性能表现如何？
• RQ5 当策略数量 $N$ 指数级增长但具有结构（如决策树剪枝）时，是否仍能保持 Exp4.P 的计算效率？

主要发现

• Exp4.P 在对抗性上下文Bandit设置下实现了 $O(\sqrt{KT\ln N})$ 的高概率遗憾界，这是该问题类别中的首次此类保证。
• 在随机设置下，Exp4.P 允许与 VC-维数为 $d$ 的策略类竞争，且以高概率的遗憾最多为 $O(\sqrt{Td\ln T})$。
• 在包含 4100 万用户访问的真实世界数据集上的实证评估表明，Exp4.P 实现了最高的部署点击率（eCTR）1.6512，优于 Exp4（1.5309）和 $\epsilon$-greedy（1.4290）。
• 尽管在学习阶段的 eCTR 略低（1.0525 vs. 1.0988 的 Exp4），但 Exp4.P 在部署阶段的优越表现表明其因保守探索而具备更好的策略泛化能力。
• 该算法的设计使得即使在策略集呈指数级增长（如决策树的所有剪枝）时，也能通过利用结构化的权重更新实现高效实现。
• 结果表明，上下文Bandit学习可实现接近监督学习的性能保证，仅需在经验需求上增加一个 $K$ 因子。