[论文解读] Collaborative Learning with Limited Interaction: Tight Bounds for Distributed Exploration in Multi-Armed Bandits

Tao Chao, Qin Zhang+1 more|arXiv (Cornell University)|Apr 5, 2019

Advanced Bandit Algorithms Research参考文献 41被引用 6

一句话总结

本文研究了在通信受限条件下的多臂赌博机中的协作最优臂识别问题，提出了高效的算法，并建立了通信轮数的近乎紧致下界。结果表明，在固定置信度和固定时间设置下，即使仅有最少的交互，K个代理的轮复杂度仍可实现接近最优的K倍加速。

ABSTRACT

Best arm identification (or, pure exploration) in multi-armed bandits is a fundamental problem in machine learning. In this paper we study the distributed version of this problem where we have multiple agents, and they want to learn the best arm collaboratively. We want to quantify the power of collaboration under limited interaction (or, communication steps), as interaction is expensive in many settings. We measure the running time of a distributed algorithm as the speedup over the best centralized algorithm where there is only one agent. We give almost tight round-speedup tradeoffs for this problem, along which we develop several new techniques for proving lower bounds on the number of communication steps under time or confidence constraints.

研究动机与目标

• 量化在通信步骤受限条件下，协作在分布式多臂赌博机中的能力。
• 分析协作最优臂识别中通信轮数与运行时间之间的权衡。
• 建立固定置信度和固定时间设置下所需通信轮数的近乎紧致下界。
• 开发在时间或置信度约束下证明通信复杂度下界的新技术。
• 设计高效的协作算法，实现在最小交互下的近似最优加速。

提出的方法

• 提出一种分布式模型，其中K个代理在每轮中执行臂拉动，仅在每轮结束时进行通信。
• 引入一种确定性算法框架，利用拉动次数和奖励总和来指导探索与通信。
• 采用条件概率论证，分析代理在一轮中超过阈值拉动次数的可能性。
• 应用Pinsker不等式和Kullback-Leibler散度，比较不同间隙参数（Δ和Δ/ζ）下的分布。
• 使用融合技术，将不同赌博机实例下的误差概率界结合，推导出下界。
• 利用集中不等式和并集界，控制单个代理进行过多拉动的概率。

实验结果

研究问题

• RQ1 在分布式多臂赌博机设置中，K个代理以高置信度识别最优臂所需的最少通信轮数是多少？
• RQ2 在固定置信度和固定时间约束下，通信轮数如何随代理数K变化？
• RQ3 能否在最小交互下实现近似最优加速，此类协作的根本极限是什么？
• RQ4 分析协作赌博机学习中通信复杂度时，需要哪些新的下界技术？
• RQ5 当代理被限制以批次方式拉动臂且协调有限时，性能如何退化？

主要发现

• 本文建立了固定置信度最优臂识别中轮复杂度的近乎紧致下界Ω(1 / log K)，表明通信无法低于此阈值。
• 对于固定时间最优臂识别，本文证明了轮复杂度下界为Ω(log T / log K)，表明轮数随时间T对数增长。
• 所提出的算法在固定时间设置下达到O(log T / log K)的轮复杂度，在固定置信度设置下达到O(log(1/δ) / log K)，与下界仅相差对数因子。
• K个代理实现的时间复杂度加速为Θ(K)，意味着总拉动次数与代理数呈线性关系。
• 分析表明通信是关键瓶颈：即使有K个代理，在最坏情况下通信轮数也无法低于Ω(1 / log K)。
• 本文提出一种新方法，结合条件概率、KL散度和Pinsker不等式，推导出在有限交互下的紧致下界。