[论文解读] An Optimal Algorithm for Multiplayer Multi-Armed Bandits

Alexandre Proutière, Po-An Wang|arXiv (Cornell University)|Sep 28, 2019

Advanced Bandit Algorithms Research参考文献 7被引用 4

一句话总结

该论文提出了DPE（去中心化简约探索），一种新颖的去中心化算法，用于多人多臂老虎机（MMAB）问题，实现了最优的渐近遗憾边界，其性能与集中式最优算法相当。通过让单个领导者进行探索，而其他参与者利用最优经验性臂，仅使用碰撞信号进行最小限度的通信，DPE确保了有限的期望通信轮次，并在遗憾和通信效率方面优于先前的SIC-MMAB等方法。

ABSTRACT

The paper addresses the Multiplayer Multi-Armed Bandit (MMAB) problem, where $M$ decision makers or players collaborate to maximize their cumulative reward. When several players select the same arm, a collision occurs and no reward is collected on this arm. Players involved in a collision are informed about this collision. We present DPE (Decentralized Parsimonious Exploration), a decentralized algorithm that achieves the same regret as that obtained by an optimal centralized algorithm. Our algorithm has better regret guarantees than the state-of-the-art algorithm SIC-MMAB \cite{boursier2019}. As in SIC-MMAB, players communicate through collisions only. An additional important advantage of DPE is that it requires very little communication. Specifically, the expected number of rounds where players use collisions to communicate is finite.

研究动机与目标

• 解决多人多臂老虎机中因碰撞导致无法获取奖励的去中心化协调挑战。
• 设计一种策略，实现集中式算法中已知的根本渐近遗憾下界。
• 通过仅限制通信至必要的碰撞信号，最小化通信开销。
• 确保当参与者未知玩家数量M时，算法仍保持有效性。
• 在遗憾和通信效率方面优于现有去中心化算法（如SIC-MMAB）。

提出的方法

• DPE采用领导者-追随者架构，其中一名玩家（领导者）使用KL-UCB等索引策略执行简约探索，而其他玩家（追随者）始终选择M个最佳经验性臂。
• 领导者仅通过专用通信臂上的碰撞，向追随者传达最佳经验性臂集合的变化。
• 初始化阶段使用随机正交化协议，无需事先协调即为M名玩家分配M个不同臂，具有有限期望时长和常数遗憾。
• 算法采用基于块的通信机制：每个K+1轮的块允许玩家发送状态并检测在臂K上的碰撞。
• 遗憾分析依赖于对选择次优臂的轮次数量进行有界，使用集中不等式和基于KL散度的界限。
• 理论分析证明，用于通信的碰撞轮次的期望数量是有限的，且整体遗憾与集中式下界一致。

实验结果

研究问题

• RQ1 去中心化MMAB算法能否实现与最优集中式算法相同的渐近遗憾？
• RQ2 如何在保持有效协调的同时，最小化去中心化MMAB中的通信？
• RQ3 在MMAB设置中，实现最优遗憾所需的最少通信量是多少？
• RQ4 仅使用碰撞信号的领导者-追随者结构能否实现最优性能，而无需共享详细统计数据？
• RQ5 采用简约探索（仅一名玩家进行探索）是否能带来更优的遗憾和通信效率？

主要发现

• DPE实现了Lai与Robbins建立的渐近遗憾下界，性能与集中式最优算法相当。
• 使用碰撞进行通信的轮次的期望数量是有限的，确保了极低的通信开销。
• DPE的遗憾被界定为 $ \limsup_{T\to\infty} \frac{R^\pi(T)}{\log T} \leq \sum_{k>M} \frac{\mu_M - \mu_k}{\textnormal{kl}(\mu_k, \mu_M)} $，与根本下界一致。
• 初始化阶段具有有限期望时长，且仅贡献常数遗憾，而SIC-MMAB的遗憾成本为 $ KM\log T $。
• DPE在遗憾保证方面优于SIC-MMAB，尤其在 $ \mu_M $ 与 $ \mu_k $ 之间差距较小时表现更优，因探索更高效。
• 该算法确保追随者始终选择M个最佳经验性臂，且领导者仅在必要时才进行探索，从而减少了冗余探索。