[论文解读] A Practical Algorithm for Multiplayer Bandits when Arm Means Vary Among Players

Étienne Boursier, Emilie Kaufmann+2 more|arXiv (Cornell University)|Feb 4, 2019

Advanced Bandit Algorithms Research参考文献 28被引用 31

一句话总结

该论文提出 M-ETC-Elim，一种适用于异构多玩家多臂老虎机问题的实用算法，其中各玩家对不同臂的期望奖励不同且无法通信。该算法结合强制碰撞实现隐式协调与匹配消除机制，在最优分配唯一时实现 O(ln T) 的遗憾，解决了 NeurIPS 2018 提出的一个开放问题，并首次提供了 O(√T ln T) 的次线性最小最大遗憾界。

ABSTRACT

We study a multiplayer stochastic multi-armed bandit problem in which players cannot communicate, and if two or more players pull the same arm, a collision occurs and the involved players receive zero reward. We consider the challenging heterogeneous setting, in which different arms may have different means for different players, and propose a new and efficient algorithm that combines the idea of leveraging forced collisions for implicit communication and that of performing matching eliminations. We present a finite-time analysis of our algorithm, giving the first sublinear minimax regret bound for this problem, and prove that if the optimal assignment of players to arms is unique, our algorithm attains the optimal $O(\ln(T))$ regret, solving an open question raised at NeurIPS 2018.

研究动机与目标

• 解决多玩家老虎机中玩家间臂的期望奖励不同的去中心化协调挑战，该设定更符合认知无线电应用的现实需求。
• 设计一种算法，使玩家通过碰撞实现隐式通信，避免冲突，并在无显式通信的情况下收敛至最优分配。
• 在最坏情况下实现次线性遗憾，并在最优匹配唯一时实现对数遗憾，从而解决 Bistritz 和 Leshem（2018）提出的开放问题。
• 提供有限时间遗憾分析并给出紧致边界，涵盖最优匹配唯一与非唯一两种情形下的近乎最优性能。

提出的方法

• 提出 M-ETC-Elim，一种两阶段算法，结合通过强制碰撞进行探索与对次优臂-玩家配对的消除。
• 采用分层周期结构，玩家在探索与利用阶段交替进行，利用碰撞指示推断潜在冲突。
• 采用匹配消除机制，基于置信区间和观测到的奖励差距，移除表现较差的臂-玩家配对。
• 应用参数化探索调度，引入超参数 c，其中 c > 1 控制探索与利用之间的权衡，遗憾规模为 O(ln(T)^{1+1/c})。
• 利用凸性论证与集中不等式界定期望遗憾，特别是通过次优边的依赖差距边界。
• 提出一种新颖分析，计算达到利用阶段前的周期数，尤其在最优匹配唯一假设下得到进一步收紧。

实验结果

研究问题

• RQ1 在最优分配唯一时，完全去中心化的算法能否在异构多玩家老虎机设置中实现对数遗憾？
• RQ2 在无通信的异构多玩家老虎机问题中，可实现的最小最大遗憾是多少？能否实现次线性？
• RQ3 如何有效利用通过强制碰撞实现的隐式通信，以在无显式信号情况下协调玩家并避免碰撞？
• RQ4 能否设计一种实用算法，在最优匹配唯一与非唯一两种情形下均实现近乎最优的遗憾？
• RQ5 算法的超参数 c 对探索与遗憾性能之间权衡的影响是什么？

主要发现

• 当最优分配唯一时，M-ETC-Elim 实现 O(ln T) 遗憾，达到信息论下界，解决了 NeurIPS 2018 提出的开放问题。
• 该算法首次为异构多玩家老虎机问题提供了 O(√T ln T) 的次线性最小最大遗憾界。
• 在存在多个最优匹配的一般设定下，遗憾规模为 O(ln(T)^{1+1/c})（对任意 c > 1），当 c → 1 时接近对数性能。
• 仿真结果表明，当 c = 1 时，M-ETC-Elim 在最优匹配唯一与非唯一的情形下，显著优于 GoT 和 Selfish-UCB 等竞争算法。
• 该算法在包含大量玩家与臂的挑战性场景中表现稳健，包括接近最优匹配的情形，且保持了强大的经验效率。
• 分析建立了达到利用阶段前周期数的紧致边界，尤其在唯一匹配假设下，从而支持对数遗憾保证。