[论文解读] Decentralized Cooperative Stochastic Bandits

David Martı́nez-Rubio, Varun Kanade+1 more|arXiv (Cornell University)|Oct 10, 2018

Age of Information Optimization被引用 54

一句话总结

提出一种完全去中心化的算法（DDUCB），用于网络上的协作随机多臂赌博机，使用加速 gossip 协议来估计全局奖励，并采用考虑延迟和估计误差的 UCB 策略；给出依赖谱隙的后悔界.

ABSTRACT

We study a decentralized cooperative stochastic multi-armed bandit problem with $K$ arms on a network of $N$ agents. In our model, the reward distribution of each arm is the same for each agent and rewards are drawn independently across agents and time steps. In each round, each agent chooses an arm to play and subsequently sends a message to her neighbors. The goal is to minimize the overall regret of the entire network. We design a fully decentralized algorithm that uses an accelerated consensus procedure to compute (delayed) estimates of the average of rewards obtained by all the agents for each arm, and then uses an upper confidence bound (UCB) algorithm that accounts for the delay and error of the estimates. We analyze the regret of our algorithm and also provide a lower bound. The regret is bounded by the optimal centralized regret plus a natural and simple term depending on the spectral gap of the communication matrix. Our algorithm is simpler to analyze than those proposed in prior work and it achieves better regret bounds, while requiring less information about the underlying network. It also performs better empirically.

研究动机与目标

• 在一个由 N 个智能体组成的网络中，研究一个去中心化的随机多臂赌博机问题，每个智能体同步拉取 K 个臂。
• 开发一种完全去中心化的算法，使用加速 gossip 来估计全局臂的奖励统计量。
• 将延迟且有噪声的估计融入上置信界（UCB）框架并分析后悔。
• 给出下界并在渐近意义上与集中式和不进行通信的基线进行比较。
• 在对网络信息需求最小的前提下，展示改进的后悔界及实用性能。

提出的方法

• 将问题建模为在一个无向连通图上的 N 个智能体，具有共享的臂分布。
• 通过加速的切比雪夫混合（多项式 q_C(P)）使用运行一致性（gossip）在网络中估计 m_t^k（臂 k 的总奖励）和 n_t^k（臂 k 的总拉取次数）。
• 将 UCB 适配于延迟/近似统计量：通过最大化 alpha_i^k/a_i^k + sqrt( (2 eta sigma^2 ln s) / (N a_i^k) ) 来选择臂。
• 分阶段进行 C 次通信步骤以混合估计，然后按阶段更新并拉取臂（gamma 与 beta/beta 混合）。
• 给出有限时间后悔界 R(T)，其中包含依赖于通信矩阵 P 的谱间隙 |lambda_2| 与节点数量 N 的项；证明渐近界和下界比较。
• 假设奖励为亚高斯分布，变异代理为 sigma^2，且已知 N 以及谱隙的上界；需要 lambda_2（或其上界）来设定混合参数 C。

实验结果

研究问题

• RQ1 当奖励仅通过本地通信共享时，去中心化（通过 gossip ）如何影响随机多臂赌博机的后悔？
• RQ2 加速的基于 gossip 的估计器是否能够使后悔接近集中式 UCB，并对图的谱性质有可量化的依赖？
• RQ3 对于提出的 DDUCB 算法，在有限时间和渐近意义上的后悔界，如何用 K、N、T、sigma 和 lambda_2 表述？
• RQ4 在信息需求和在一般图上的性能方面，该算法与先前的 coop-UCB 变体相比如何？

主要发现

• 所提出的 DDUCB 算法的后悔等于最优的集中式后悔再加上一个依赖谱隙和智能体数量的项。
• 有限时间后悔界：R(T) < sum_{k: Delta_k>0} (32(1+1/11) sigma^2 ln(TN))/Delta_k + (N(6C+1)+4) sum_k Delta_k, 其中 C 取决于 lambda_2。
• 渐近地，R(T) lesssim sum_{k: Delta_k>0} (sigma^2 ln(TN))/Delta_k + (N ln N)/sqrt(ln(1/|lambda_2|)) sum_k Delta_k。
• 下界表明任何一致策略至少具有 Omega( sum_{k: Delta_k>0} (sigma^2 ln(TN))/Delta_k + (N/K + 1) sum_k Delta_k )，而 DDUCB 的界在渐近意义上是最优的，额外因子仅依赖于 K 和 N。
• DDUCB 使用更少的图级假设并加速通信，与先前工作（如 coop-UCB 变体）相比，改进了对谱隙的后悔依赖。
• 在经验上，该方法比先前的去中心化方法表现更好，且分析起来更简单。