[论文解读] Leveraging Side Observations in Stochastic Bandits

Stéphane Caron, Branislav Kveton+2 more|arXiv (Cornell University)|Oct 16, 2012

Advanced Bandit Algorithms Research参考文献 20被引用 66

一句话总结

本文提出了一种基于UCB的算法，用于随机多臂赌博机问题，利用相关臂的侧观察结果——即在拉动一个臂后获得的其他相关臂的奖励——以加速学习。通过利用臂之间的结构关系（例如在社交网络中），该方法在真实数据集上的电影推荐实验中实现了高达14倍的学习加速，显著优于标准赌博机方法的遗憾边界。

ABSTRACT

This paper considers stochastic bandits with side observations, a model that accounts for both the exploration/exploitation dilemma and relationships between arms. In this setting, after pulling an arm i, the decision maker also observes the rewards for some other actions related to i. We will see that this model is suited to content recommendation in social networks, where users' reactions may be endorsed or not by their friends. We provide efficient algorithms based on upper confidence bounds (UCBs) to leverage this additional information and derive new bounds improving on standard regret guarantees. We also evaluate these policies in the context of movie recommendation in social networks: experiments on real datasets show substantial learning rate speedups ranging from 2.2x to 14x on dense networks.

研究动机与目标

• 通过整合来自相关臂的侧观察结果，解决随机赌博机中的探索-利用权衡问题。
• 模拟现实场景，如社交网络推荐，其中用户的反应会影响其他用户。
• 开发能够利用臂之间关系以减少遗憾并加速学习的高效算法。
• 推导出优于标准赌博机算法的理论遗憾边界。

提出的方法

• 设计一种基于UCB的算法，利用侧观察结果更新相关臂的置信区间。
• 将臂之间的关系建模为图结构，其中拉动一个臂会揭示与之相连的臂的奖励。
• 将侧观察结果整合到上置信区间计算中，以更高效地减少不确定性。
• 使用图结构表示臂之间的依赖关系，从而实现在相关动作之间的信息共享。
• 推导出与侧观察数量和图结构相关的理论遗憾边界。
• 在真实社交网络数据集上评估性能，以验证实际中的加速效果。

实验结果

研究问题

• RQ1 如何有效利用来自相关臂的侧观察结果，以提高随机赌博机中的学习效率？
• RQ2 在存在侧观察结果的情况下，可以推导出什么样的理论遗憾边界？
• RQ3 图结构化的臂关系如何影响推荐系统中的学习速度和遗憾？
• RQ4 在实际中，侧观察在多大程度上减少了识别最优臂所需的拉动次数？
• RQ5 UCB-based算法能否被调整以利用侧观察结果，同时保持理论保证？

主要发现

• 在密集社交网络中，所提算法相比标准赌博机方法，学习速度最高可提升14倍。
• 在真实电影推荐数据集上的实验表明，学习速度持续提升了2.2倍至14倍。
• 通过引入侧观察结果，理论遗憾边界得到改善，尤其在高连通性的图中表现更优。
• 侧观察显著减少了收敛到最优动作所需的拉动次数。
• 该方法在遗憾和收敛速度方面均优于标准UCB，尤其在密集网络拓扑结构中表现更优。
• 该算法在保持理论保证的同时，能随侧观察数量的增加而高效扩展。