[论文解读] Heterogeneous Multi-player Multi-armed Bandits: Closing the Gap and Generalization

Chengshuai Shi, Wei Xiong+2 more|arXiv (Cornell University)|Oct 27, 2021

Advanced Bandit Algorithms Research参考文献 46被引用 7

一句话总结

该论文提出 BEACON，一种新颖的异构多玩家多臂老虎机去中心化算法，将遗憾差距缩小至集中式下界。通过整合受 CUCB 启发的自适应差分通信与分批探索机制，BEACON 在线性和非线性奖励设置下均实现了对数遗憾，统一了组合式与多玩家老虎机范式，并展现出强大的理论与实证性能。

ABSTRACT

Despite the significant interests and many progresses in decentralized multi-player multi-armed bandits (MP-MAB) problems in recent years, the regret gap to the natural centralized lower bound in the heterogeneous MP-MAB setting remains open. In this paper, we propose BEACON -- Batched Exploration with Adaptive COmmunicatioN -- that closes this gap. BEACON accomplishes this goal with novel contributions in implicit communication and efficient exploration. For the former, we propose a novel adaptive differential communication (ADC) design that significantly improves the implicit communication efficiency. For the latter, a carefully crafted batched exploration scheme is developed to enable incorporation of the combinatorial upper confidence bound (CUCB) principle. We then generalize the existing linear-reward MP-MAB problems, where the system reward is always the sum of individually collected rewards, to a new MP-MAB problem where the system reward is a general (nonlinear) function of individual rewards. We extend BEACON to solve this problem and prove a logarithmic regret. BEACON bridges the algorithm design and regret analysis of combinatorial MAB (CMAB) and MP-MAB, two largely disjointed areas in MAB, and the results in this paper suggest that this previously ignored connection is worth further investigation.

研究动机与目标

• 解决去中心化算法是否能在异构多玩家多臂老虎机（MP-MAB）设置中达到集中式性能的开放问题。
• 设计一种高效的隐式通信机制，以减少去中心化玩家协调中的通信损失。
• 设计一种分批探索方案，利用组合式 MAB（CUCB）的原则实现有效探索。
• 将 MP-MAB 扩展至任意非线性系统奖励函数，超越线性奖励函数。
• 建立与集中式下界匹配的理论遗憾界，并通过实证方法验证该方法。

提出的方法

• 提出自适应差分通信（ADC），一种新颖的隐式通信方案，可减少去中心化 MP-MAB 中的通信低效性。
• 采用分批探索机制，使玩家在协调的非重叠阶段探索臂，以最小化冲突。
• 将组合式上界置信度（CUCB）原则适配至分批、去中心化设置，以实现高效探索。
• 通过将系统奖励建模为个体奖励的一般函数，将 BEACON 扩展至非线性奖励函数。
• 使用 $(\alpha,\beta)$-近似预言机处理次优匹配输出，提升在实际场景中的鲁棒性。
• 通过将遗憾分解为通信、探索与冲突遗憾三部分，并辅以精细的集中分析，推导出遗憾界。

实验结果

研究问题

• RQ1 去中心化算法是否能在异构 MP-MAB 中实现接近集中式下界的遗憾性能？
• RQ2 如何优化隐式通信以减少去中心化协调中的信息损失？
• RQ3 分批探索是否能有效平衡多玩家老虎机设置中的探索与利用？
• RQ4 在保持对数遗憾的前提下，是否可将线性 MP-MAB 扩展至非线性系统奖励函数？
• RQ5 在一般奖励函数下，去中心化 MP-MAB 的理论性能极限是什么？

主要发现

• BEACON 实现了问题依赖的遗憾界 $O(M\sqrt{KT\log T})$，与集中式下界仅相差对数因子。
• 在非线性奖励设置下，BEACON 实现了 $O(\log T)$ 遗憾，证明了对数遗憾在非线性函数中亦可实现。
• 在实证评估中，BEACON 在线性奖励下相比最先进算法 METC 的性能提升了约 6 倍。
• 自适应差分通信（ADC）方案显著减少了隐式通信损失，优于先前方法。
• 理论分析成功弥合了组合式 MAB（CMAB）与多玩家 MAB（MP-MAB）之间的鸿沟，揭示了此前被忽视的联系。
• 通过引入 $(\alpha,\beta)$-近似预言机，BEACON 保持了 $\tilde{O}(\log T)$ 遗憾，证明了其对次优匹配输出的鲁棒性。