[论文解读] Decentralized Cooperative Stochastic Multi-armed Bandits.

David Martı́nez-Rubio, Varun Kanade+1 more|arXiv (Cornell University)|Oct 10, 2018

Advanced Bandit Algorithms Research被引用 12

一句话总结

该论文提出了一种完全去中心化的算法，用于网络上的合作性随机多臂赌博机问题，通过运行共识来估计存在延迟和误差的平均奖励，然后应用延迟UCB方法。其遗憾边界在所有网络中均优于先前方法（最多为常数因子），在某些图结构中更是显著更优。

ABSTRACT

We study a decentralized cooperative stochastic multi-armed bandit problem with $K$ arms on a network of $N$ agents. In our model, the reward distribution of each arm is agent-independent. Each agent chooses iteratively one arm to play and then communicates to her neighbors. The aim is to minimize the total network regret. We design a fully decentralized algorithm that uses a running consensus procedure to compute, with some delay, accurate estimations of the average of rewards obtained by all the agents for each arm, and then uses an upper confidence bound algorithm that accounts for the delay and error of the estimations. We analyze the algorithm and up to a constant our regret bounds are better for all networks than other algorithms designed to solve the same problem. For some graphs, our regret bounds are significantly better.

研究动机与目标

• 解决去中心化协作随机多臂赌博机问题，其中代理在网路中共享奖励。
• 在无集中协调的情况下最小化总网络遗憾。
• 设计一种完全去中心化的算法，以考虑奖励平均过程中的通信延迟和估计误差。
• 在所有网络类型中实现具有竞争力的遗憾边界，并在特定图结构中实现更优的遗憾边界。

提出的方法

• 采用运行共识过程，在网络中对每种动作的平均奖励进行估计，该过程存在固有延迟。
• 在修改后的上置信度边界（UCB）算法中使用延迟且带有噪声的平均奖励估计，以平衡探索与利用。
• 将误差和延迟补偿整合到UCB选择规则中，以维持性能保证。
• 确保所有计算和决策均为本地进行，代理仅与直接邻居通信。
• 设计算法为完全去中心化，无需集中协调或对网络的全局知识。

实验结果

研究问题

• RQ1 在去中心化网络中，代理如何协作最小化随机多臂赌博机设置下的总遗憾？
• RQ2 通信延迟和估计误差对去中心化协作赌博机中遗憾的影响是什么？
• RQ3 基于共识的平均方法能否与UCB有效结合，以在去中心化环境中维持低遗憾？
• RQ4 遗憾边界如何随网络拓扑变化？能否在现有去中心化算法基础上进一步改进？

主要发现

• 所提出的算法在所有网络类型中，遗憾边界均优于现有去中心化算法，最多为常数因子。
• 对于某些图结构，遗憾边界显著优于先前方法。
• 该算法通过修改后的UCB方法有效处理了平均奖励的延迟和噪声估计。
• 该方法在无需集中协调或全局网络知识的情况下，仍保持了强大的理论性能保证。