[论文解读] Multi-Player Bandits -- a Musical Chairs Approach

Jonathan Rosenski, Ohad Shamir+1 more|arXiv (Cornell University)|Dec 9, 2015

Advanced Bandit Algorithms Research参考文献 5被引用 3

一句话总结

本文提出了两种无需通信的算法——音乐椅（Musical Chairs, MC）与动态音乐椅（Dynamic Musical Chairs, DMC）——用于存在碰撞的多玩家多臂赌博机问题，在奖励差距固定的情况下，无需事先知晓玩家数量，即可实现常数 regret（MC）与 Õ(√(xT)) regret（DMC）。该方法依赖于去中心化的探索机制，并通过随机化与持续性启发式策略解决碰撞问题。

ABSTRACT

We consider a variant of the stochastic multi-armed bandit problem, where multiple players simultaneously choose from the same set of arms and may collide, receiving no reward. This setting has been motivated by problems arising in cognitive radio networks, and is especially challenging under the realistic assumption that communication between players is limited. We provide a communication-free algorithm (Musical Chairs) which attains constant regret with high probability, as well as a sublinear-regret, communication-free algorithm (Dynamic Musical Chairs) for the more difficult setting of players dynamically entering and leaving throughout the game. Moreover, both algorithms do not require prior knowledge of the number of players. To the best of our knowledge, these are the first communication-free algorithms with these types of formal guarantees. We also rigorously compare our algorithms to previous works, and complement our theoretical findings with experiments.

研究动机与目标

• 解决去中心化多玩家多臂赌博机中的挑战，其中玩家无法通信，且在选择同一臂时可能发生碰撞。
• 设计一种无需通信的算法，在所有玩家从开始即存在的静态设置下实现常数 regret。
• 将解决方案扩展至动态设置，即玩家可在游戏过程中进入或离开，确保实现次线性 regret。
• 消除对玩家数量先验知识的需求，这是先前研究中的常见假设。
• 在现实认知无线电网络约束条件下，提供理论保证与实证验证以评估性能。

提出的方法

• 为静态设置提出音乐椅（MC）算法，玩家随机探索各臂，并在未发生碰撞时持续选择已选臂。
• 在 MC 中引入随机化机制，确保玩家以高概率最终占据不同臂，从而最小化碰撞。
• 为动态设置设计动态音乐椅（DMC）算法，玩家使用随时间衰减的持续性概率，以适应玩家数量的变化。
• 采用碰撞检测机制，使玩家无需通信即可推断是否发生碰撞。
• 基于最优臂与次优臂之间均值奖励的差距进行有界 regret 分析，假设该差距为固定正值。
• 应用浓度不等式与概率界，证明在对抗性玩家行为下具有高概率的 regret 保证。

实验结果

研究问题

• RQ1 在未知玩家数量的静态多玩家多臂赌博机设置下，无需通信的算法能否实现常数 regret？
• RQ2 在玩家随时间进入和离开的动态设置中，玩家如何在无协调的情况下实现次线性 regret？
• RQ3 在基于碰撞的赌博机问题中，不掌握玩家数量对 regret 性能有何影响？
• RQ4 现有算法在动态设置下的表现如何？在何种场景下会遭遇线性 regret？
• RQ5 在现实假设下，即使无协调的去中心化算法是否仍能实现最优 regret 刻画？

主要发现

• 在静态设置下，音乐椅（MC）算法在固定奖励差距下，以高概率实现与时间范围 T 无关的常数 regret。
• 在动态设置下，动态音乐椅（DMC）算法以高概率实现 Õ(√(xT)) regret，其中 x 为玩家总进入与退出次数。
• 先前算法如 MEGA 在动态设置下的 regret 可达 Ω(T)，表明其在现实玩家动态下无法有效扩展。
• 所提算法无需知晓玩家数量，相较于先前需此信息的方法，实现显著改进。
• 实验验证了理论发现，表明 MC 与 DMC 在静态与动态场景下均优于现有算法。
• 分析表明，DMC 的 regret 上界 O(√(xT)) 是紧致的，且显著优于在先前方法失效的场景中出现的线性 regret。