[论文解读] Distributed Clustering of Linear Bandits in Peer to Peer Networks

Nathan Korda, Balázs Szörényi+1 more|arXiv (Cornell University)|Apr 26, 2016

Advanced Bandit Algorithms Research参考文献 17被引用 69

一句话总结

本文提出两种分布式算法——DCB 和 DCCB——用于在通信受限的对等网络中的线性 bandit 问题。通过基于 gossip 的置信球方法，DCB 在同质网络中实现了最优渐近 regret；DCCB 能够发现解决相似 bandit 问题的代理聚类，并在每个聚类内保持最优 regret，其性能在真实世界数据集上与集中式基线相当。

ABSTRACT

We provide two distributed confidence ball algorithms for solving linear bandit problems in peer to peer networks with limited communication capabilities. For the first, we assume that all the peers are solving the same linear bandit problem, and prove that our algorithm achieves the optimal asymptotic regret rate of any centralised algorithm that can instantly communicate information between the peers. For the second, we assume that there are clusters of peers solving the same bandit problem within each cluster, and we prove that our algorithm discovers these clusters, while achieving the optimal asymptotic regret rate within each one. Through experiments on several real-world datasets, we demonstrate the performance of proposed algorithms compared to the state-of-the-art.

研究动机与目标

• 解决在对等网络中通信受限条件下最小化多代理线性 bandit 问题 regret 的挑战。
• 设计一种分布式算法，在无需即时全局通信的情况下，实现与集中式算法相当的最优 regret 性能。
• 将框架扩展至异质网络，其中代理属于解决不同 bandit 问题的聚类。
• 在不依赖聚类结构先验知识的情况下，自动发现代理聚类，同时在每个聚类内保持最优 regret 率。
• 在真实世界数据集上评估所提算法，并与最先进的集中式和去中心化基线进行比较。

提出的方法

• DCB 算法采用基于 gossip 的协议，代理随机交换并聚合信息，以维护估计参数周围的置信球。
• 应用阶为 O(log t) 的延迟机制，以减轻因重复使用共享数据带来的偏差，确保渐近一致性。
• DCCB 算法在 DCB 的基础上引入剪枝机制，用于检测并隔离具有相似底层 bandit 参数的代理聚类。
• 代理维护本地置信球，并使用来自邻居的延迟共享观测值进行更新，通过定期清除缓冲区来管理状态增长。
• 算法采用基于线性回归与次高斯噪声的改进置信球更新规则，确保参数估计的高概率集中性。
• 在算法中集成聚类识别过程，证明可随时间高概率恢复真实聚类。

实验结果

研究问题

• RQ1 在通信受限的对等网络中，分布式算法能否实现与集中式线性 bandit 算法相同的最优渐近 regret 率？
• RQ2 算法能否在未预先知晓聚类结构的情况下，自动检测并适应解决相同 bandit 问题的代理聚类？
• RQ3 在真实世界推荐数据集上，所提分布式算法的性能与集中式和非共享基线相比如何？
• RQ4 在基于 gossip 的分布式设置中，通信延迟和数据重复对 regret 的影响是什么？
• RQ5 在去中心化、异步环境中，算法能否在发现聚类的同时保持最优 regret 性能？

主要发现

• DCB 算法在同质网络中实现了 O(log T) 的最优渐近 regret 率，与集中式算法性能一致。
• DCCB 算法以高概率成功发现解决相似 bandit 问题的代理真实底层聚类。
• DCCB 在每个发现的聚类内保持最优 regret 性能，实现与独立运行于每个聚类的集中式算法相同的渐近 regret 率。
• 在真实世界数据集（LastFM、Delicious、MovieLens）上，DCCB 性能与集中式 CLUB 算法相当，显著优于 CB- NoSharing 和 CB- InstSharing。
• 实验结果证实，基于 gossip 的信息共享协议能够实现鲁棒、可扩展的学习，且通信开销极低。
• 分析表明，延迟机制能有效缓解数据重复带来的偏差，确保收敛至真实参数向量。