[论文解读] Distributed Exploration in Multi-Armed Bandits

Eshcar Hillel, Zohar Karnin+3 more|arXiv (Cornell University)|Nov 4, 2013

Advanced Bandit Algorithms Research参考文献 23被引用 40

一句话总结

本文研究了具有 k 名协作玩家的分布式多臂赌博机探索问题，旨在识别一个 ε-最优臂。提出了一种单轮通信协议，实现了相较于单玩家学习的 √k 速度提升；并提出了一种对数通信协议，实现了理想的 k 倍速度提升，从而在大规模分布式系统中建立了通信与学习效率之间的基本权衡。

ABSTRACT

We study exploration in Multi-Armed Bandits in a setting where $k$ players collaborate in order to identify an $ε$-optimal arm. Our motivation comes from recent employment of bandit algorithms in computationally intensive, large-scale applications. Our results demonstrate a non-trivial tradeoff between the number of arm pulls required by each of the players, and the amount of communication between them. In particular, our main result shows that by allowing the $k$ players to communicate only once, they are able to learn $\sqrt{k}$ times faster than a single player. That is, distributing learning to $k$ players gives rise to a factor $\sqrt{k}$ parallel speed-up. We complement this result with a lower bound showing this is in general the best possible. On the other extreme, we present an algorithm that achieves the ideal factor $k$ speed-up in learning performance, with communication only logarithmic in $1/ε$.

研究动机与目标

• 理解分布式多臂赌博机探索中玩家间通信与学习性能之间的权衡。
• 探究在通信量最小（特别是仅一轮通信）的情况下，是否能够实现非平凡的学习加速。
• 确定在通信约束下，协作赌博机学习中并行加速的理论极限。
• 设计在通信成本与学习效率之间取得平衡的算法，尤其适用于大规模、计算密集型应用场景。
• 建立在分布式赌博机学习中实现最优加速所必需的通信量的下限。

提出的方法

• 提出一种单轮通信协议，玩家通过基于置信区间分层消除过程协作剔除次优臂。
• 通过 k 名玩家的协议将任意串行探索算法适配到分布式设置，实现通过在各玩家间分配臂的拉动而获得 √k 的并行加速。
• 采用基于阈值的消除策略：在第 r 轮后，玩家剔除非 εr-最优的臂，其中 εr 按几何级数递减。
• 利用 Hoeffding 不等式控制错误剔除的概率，确保最终选择臂的高概率正确性。
• 引入一种多轮协议，其通信量在 1/ε 上对数增长，通过允许玩家基于共享结果细化关注目标，实现 k 倍速度提升。
• 利用集中不等式和递归消除深度推导每名玩家所需臂拉动次数的界，表明其对 Δεi 和 k 的依赖关系。

实验结果

研究问题

• RQ1 是否能够通过仅一轮通信实现分布式多臂赌博机算法的非平凡加速？
• RQ2 当通信被限制为一轮时，分布式赌博机探索中可实现的最大并行加速是多少？
• RQ3 是否可能以 1/ε 的次线性通信成本实现学习性能的理想的 k 倍加速？
• RQ4 通信轮数如何影响学习效率与通信开销之间的权衡？
• RQ5 在协作赌博机学习中，实现最优加速所需的通信量的基本下限是什么？

主要发现

• 单轮通信协议实现了相较于单玩家学习的 √k 并行加速，表明即使通信极少，也能带来显著性能提升。
• √k 加速在渐近意义上是最优的，由匹配的下界证明，意味着仅通过一轮通信无法实现更优的加速。
• 一种通信量在 1/ε 上对数增长的多轮协议实现了学习性能的理想 k 倍加速，实现了完全的并行化效率。
• 每名玩家的臂拉动次数为 O(1/k) 倍于子优性差距 Δεi 的平方倒数，显示出对差距和 k 的强依赖性。
• 通过调节消除阈值 εr，可使算法在最多 R 轮通信内终止，且拉动复杂度每名玩家为 O(ε^(-2/R)/k)。
• 该算法以高概率（1−δ）确保终止后仅剩余 ε-最优臂，正确性通过奖励估计的集中不等式保证。