[论文解读] Contextual Bandits with Similarity Information

Aleksandrs Slivkins|arXiv (Cornell University)|Jul 23, 2009

Advanced Bandit Algorithms Research参考文献 53被引用 255

一句话总结

该论文提出了适用于具有相似性信息的上下文Bandit问题的自适应划分算法，其中收益差异受度量距离的约束。通过在高收益和高流量区域细化划分，该方法在不牺牲最坏情况性能的前提下实现了近乎最优的遗憾边界，解决了Lipschitz连续收益下结构化Bandit学习中的一个关键挑战。

ABSTRACT

In a multi-armed bandit (MAB) problem, an online algorithm makes a sequence of choices. In each round it chooses from a time-invariant set of alternatives and receives the payoff associated with this alternative. While the case of small strategy sets is by now well-understood, a lot of recent work has focused on MAB problems with exponentially or infinitely large strategy sets, where one needs to assume extra structure in order to make the problem tractable. In particular, recent literature considered information on similarity between arms. We consider similarity information in the setting of "contextual bandits", a natural extension of the basic MAB problem where before each round an algorithm is given the "context" -- a hint about the payoffs in this round. Contextual bandits are directly motivated by placing advertisements on webpages, one of the crucial problems in sponsored search. A particularly simple way to represent similarity information in the contextual bandit setting is via a "similarity distance" between the context-arm pairs which gives an upper bound on the difference between the respective expected payoffs. Prior work on contextual bandits with similarity uses "uniform" partitions of the similarity space, which is potentially wasteful. We design more efficient algorithms that are based on adaptive partitions adjusted to "popular" context and "high-payoff" arms.

研究动机与目标

• 通过利用上下文-动作对之间的相似性信息，解决大规模或无限动作集的上下文Bandit问题。
• 克服统一划分方法忽略收益和上下文分布结构的局限性。
• 设计自适应细化高收益和高上下文频率区域的划分策略，以提升良性实例下的性能。
• 在实现良性实例下性能提升的同时，保持最坏情况下的遗憾保证。
• 通过根据上下文到达模式而非收益结构调整划分，将该框架扩展至对抗性收益设置。

提出的方法

• 使用度量空间建模上下文-动作对之间的相似性，其中收益差异受距离有界（Lipschitz连续性）。
• 采用度量空间的自适应划分，仅在期望收益高且上下文频率高的区域进行细化。
• 为不同相似度尺度维护独立的划分，通过累计收益和上下文访问次数触发细化。
• 应用球覆盖技术，利用倍增维数和度量熵，对每个尺度下的活跃划分数量进行上界估计。
• 在自适应划分框架内集成现成的非上下文Bandit算法（如UCB），以复用已有方法。
• 通过分析每一层划分的贡献，结合尺度相关阈值和覆盖论证，推导遗憾边界。

实验结果

研究问题

• RQ1 自适应划分能否在不降低最坏情况性能的前提下，提升具有相似性信息的上下文Bandit问题的遗憾性能？
• RQ2 该算法如何利用度量空间中良性收益和上下文到达模式？
• RQ3 当收益函数关于相似性度量为Lipschitz连续时，探索与利用之间的最优权衡是什么？
• RQ4 自适应划分技术能否扩展至对抗性收益设置，其中期望收益可能任意变化？
• RQ5 具有相似性信息的上下文Bandit问题中，遗憾的根本极限是什么？所提算法是否几乎达到这些极限？

主要发现

• 所提出的自适应划分算法对时间不变和缓慢变化的收益函数，均实现了近乎最优的遗憾边界。
• 对于上下文空间中倍增维数为 $d_{\text{X}}$、动作空间中为 $d_{\text{Y}}$ 的Lipschitz连续收益函数，遗憾为 $O(T^{(2+d_{\text{X}})/(4+d_{\text{X}}+2d_{\text{Y}})}})$，与已知下界仅相差对数因子。
• 该算法通过仅在需要的区域细化划分，自适应地聚焦于高收益和高流量区域，从而在良性实例下提升性能。
• 遗憾边界通过覆盖论证推导，利用度量熵和倍增常数对每个尺度下的活跃划分数量进行上界估计。
• 在对抗性收益下，该算法保持最坏情况下的遗憾，同时根据上下文到达模式自适应调整，当上下文分布为良性时实现次线性遗憾。
• 分析表明，只要基础Bandit算法满足标准遗憾保证，该算法的性能对基础算法的选择具有鲁棒性。