[论文解读] A Gang of Bandits

Nicolò Cesa‐Bianchi, Claudio Gentile+1 more|arXiv (Cornell University)|Dec 5, 2013

Advanced Bandit Algorithms Research参考文献 23被引用 47

一句话总结

本文提出了一种网络化多臂赌博机框架，利用用户之间的社交关系来提升推荐性能。通过使用户（赌博机代理）与邻居共享上下文和收益信号，并引入可扩展的聚类型变体，该方法在预测准确性方面显著优于忽略关系结构的最先进上下文赌博机方法。

ABSTRACT

Multi-armed bandit problems formalize the exploration-exploitation trade-offs arising in several industrially relevant applications, such as online advertisement and, more generally, recommendation systems. In many cases, however, these applications have a strong social component, whose integration in the bandit algorithm could lead to a dramatic performance increase. For instance, content may be served to a group of users by taking advantage of an underlying network of social relationships among them. In this paper, we introduce novel algorithmic approaches to the solution of such networked bandit problems. More specifically, we design and analyze a global recommendation strategy which allocates a bandit algorithm to each network node (user) and allows it to share signals (contexts and payoffs) with the neghboring nodes. We then derive two more scalable variants of this strategy based on different ways of clustering the graph nodes. We experimentally compare the algorithm and its variants to state-of-the-art methods for contextual bandits that do not use the relational information. Our experiments, carried out on synthetic and real-world datasets, show a consistent increase in prediction performance obtained by exploiting the network structure.

研究动机与目标

• 解决传统上下文赌博机在推荐系统中未利用社交关系的局限性。
• 在在线推荐场景中建模并利用用户之间的关系结构。
• 设计一种可扩展的网络化赌博机全局策略，实现在连接用户之间的信息共享。
• 开发高效的、基于聚类的全局策略变体，以提升计算可扩展性。
• 通过实证验证将社交网络结构融入赌博机学习所带来的性能提升。

提出的方法

• 在社交网络中的每个用户节点部署多臂赌博机算法，以平衡探索与利用。
• 允许每个用户将其上下文特征和观测到的收益与直接连接的邻居共享，以增强学习效果。
• 制定一种全局推荐策略，聚合网络中的信号以提升个体代理的性能。
• 通过聚类图节点设计两种可扩展的变体，以降低通信开销并提高效率。
• 使用图聚类技术根据结构相似性对用户进行分组，实现在簇内的局部信号传播。
• 在每个节点应用标准的上下文赌博机算法（例如，LinUCB），并结合邻居共享信号和簇级聚合进行增强。

实验结果

研究问题

• RQ1 将社交网络结构融入赌博机算法是否能带来可测量的推荐性能提升？
• RQ2 在社交图中跨邻居共享信号如何影响上下文赌博机策略的收敛性和准确性？
• RQ3 在应用全局策略与聚类策略时，性能与可扩展性之间的权衡如何？
• RQ4 不同的图聚类策略如何影响网络化赌博机中信息共享的有效性？
• RQ5 与孤立的赌博机代理相比，关系信号在多大程度上能减少探索开销并提高预测准确性？

主要发现

• 所提出的网络化赌博机策略在预测性能方面持续且显著优于不使用关系信息的最先进上下文赌博机方法。
• 全局信号共享策略有效利用了社交关系，加速了学习过程并减少了用户整体的遗憾。
• 聚类变体在保持强性能的同时提升了可扩展性，使该方法在大规模网络中具有可行性。
• 在合成数据集和真实世界数据集上的实验结果表明，关系信息可实现更快的收敛速度和更高的长期奖励累积。
• 在个体数据稀疏的场景下，性能提升最为显著，此时邻居信号提供了关键的学习信号。