[论文解读] Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication

Yuanhao Wang, Jiachen Hu+2 more|arXiv (Cornell University)|Apr 12, 2019

Advanced Bandit Algorithms Research被引用 26

一句话总结

该论文提出了 DEMAB 和 DELB 两种协议，用于分布式多臂Bandit和线性Bandit问题，具有通信效率高、近似最优遗憾的特性，同时最小化数据传输量。通过采用周期性压缩通信与自适应淘汰机制，协议将通信成本降低至 MAB 的 O(M log(MK)) 和线性Bandit的 Õ(Md) —— 与时间范围 T 呈对数关系，同时保持接近单智能体最优性能的遗憾。

ABSTRACT

We study the problem of regret minimization for distributed bandits learning, in which $M$ agents work collaboratively to minimize their total regret under the coordination of a central server. Our goal is to design communication protocols with near-optimal regret and little communication cost, which is measured by the total amount of transmitted data. For distributed multi-armed bandits, we propose a protocol with near-optimal regret and only $O(M\\log(MK))$ communication cost, where $K$ is the number of arms. The communication cost is independent of the time horizon $T$, has only logarithmic dependence on the number of arms, and matches the lower bound except for a logarithmic factor. For distributed $d$-dimensional linear bandits, we propose a protocol that achieves near-optimal regret and has communication cost of order $\ ilde{O}(Md)$, which has only logarithmic dependence on $T$.

研究动机与目标

• 解决在分布式Bandit学习中最小化通信成本的同时保持近似最优遗憾的挑战。
• 设计可高效扩展至智能体数量 M 和臂数量 K 的协议，避免对时间范围 T 的线性依赖。
• 实现在大规模或通信受限环境（如传感器网络或联邦学习）中的实际部署。
• 在集中式服务器模型下，于多臂Bandit和线性Bandit设置中实现近似最优遗憾，并可扩展至对等网络。

提出的方法

• 为分布式多臂Bandit问题提出 DEMAB，采用两阶段方法：预热阶段与自适应淘汰阶段。
• 在淘汰阶段，各智能体周期性地通过压缩、低开销消息将聚合统计量（如经验均值、计数）发送至服务器。
• 引入一种通信高效的聚合机制，使服务器在每阶段以 O(M) 的开销广播臂淘汰决策并收集各智能体的统计量。
• 对于线性Bandit问题，设计 DELB，采用类似的通信结构，但通过线性回归和置信椭球进行参数估计。
• 采用服务器到智能体与智能体到服务器的通信模式，支持对等网络适配，以顺序消息传递替代集中式广播。
• 通过利用统计集中性与次优臂的淘汰，实现通信成本对 K 和 T 的对数依赖。

实验结果

研究问题

• RQ1 分布式Bandit学习能否在通信成本与时间范围 T 无关的前提下实现近似最优遗憾？
• RQ2 在多智能体设置中，为保持与集中式Bandit学习相当的遗憾水平，所需的最小通信成本是多少？
• RQ3 如何设计通信结构以最小化数据传输量，同时在多臂Bandit和线性Bandit问题中保持学习效率？
• RQ4 所提出的协议能否在无中心服务器的对等网络中适配？若能，会产生何种性能权衡？
• RQ5 通信成本在多大程度上随智能体数量 M、臂数量 K 和维度 d 而变化？

主要发现

• DEMAB 实现遗憾 O(√(MKT log T) + M² log(MK))，通信成本为 O(M log(MK))，接近最优且与 T 无关。
• 对于分布式线性Bandit问题，DELB 实现遗憾 O(d√(MT log T) + M² log T)，通信成本为 Õ(Md + d log log d) log T，仅对 T 呈对数依赖。
• 当 T > M³ log M 时，两种协议的遗憾渐近接近最优，与单智能体遗憾界仅相差对数因子。
• DEMAB 的通信成本在对数因子范围内达到最优，与已知分布式MAB的下界一致。
• 通过将集中式通信替换为顺序消息传递，协议可扩展至P2P网络，当 T 较大时仅增加 O(M²) 的额外遗憾。
• 即使在长时间范围下，通信成本仍保持较低，表明频繁数据共享并非实现近似最优性能的必要条件。