[论文解读] Cooperative and Stochastic Multi-Player Multi-Armed Bandit: Optimal Regret With Neither Communication Nor Collisions

Sébastien Bubeck, Thomas Budzinski+1 more|arXiv (Cornell University)|Nov 7, 2020

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文提出了一种用于具有共享随机性的合作式多玩家多臂老虎机问题的新型随机化策略，实现了最优遗憾度 $O(mK^{11/2}\tilde{O}(√{T\log T}))$，且玩家之间完全无碰撞。该方法利用分层决策树和参数空间的稳定划分，通过利用组合结构与不确定性下的鲁棒估计，在无需通信的情况下确保玩家从不选择同一支臂。

ABSTRACT

We consider the cooperative multi-player version of the stochastic multi-armed bandit problem. We study the regime where the players cannot communicate but have access to shared randomness. In prior work by the first two authors, a strategy for this regime was constructed for two players and three arms, with regret $\ ilde{O}(\\sqrt{T})$, and with no collisions at all between the players (with very high probability). In this paper we show that these properties (near-optimal regret and no collisions at all) are achievable for any number of players and arms. At a high level, the previous strategy heavily relied on a $2$-dimensional geometric intuition that was difficult to generalize in higher dimensions, while here we take a more combinatorial route to build the new strategy.

研究动机与目标

• 设计一种合作式多玩家多臂老虎机策略，实现接近最优的遗憾度，且玩家之间完全无碰撞。
• 将先前局限于两名玩家和三支臂的工作扩展至任意数量的玩家和臂。
• 通过确保玩家以高概率从不选择同一支臂，消除对通信或碰撞惩罚的需求。
• 开发一种可扩展的组合策略，使其超越低维几何构造的局限。

提出的方法

• 该策略基于未决臂上的决策树，采用随时间变化的、带颜色的 $[0,1]^K$ 参数空间划分。
• 每个划分单元对应一个推荐的 $m$-元组臂，通过颜色分配确保树中相邻节点之间无碰撞。
• 稳定性特性确保邻近的经验估计会导向相邻的划分单元，从而保持无碰撞行为。
• 算法通过 $\varepsilon_t$-依赖的界面动态细化估计，利用置信区间和阈值化方法指导臂的选择。
• 关键技术创新在于使用修正的概率估计 $\widetilde{q}_t^X$，在不改变划分结果的前提下校正高误差坐标。
• 遗憾度分析利用一种‘作弊策略’，结合校正后的估计，以界定向偏移并推导出最终的遗憾边界。

实验结果

研究问题

• RQ1 在合作式多玩家多臂老虎机问题中，是否可以在不进行通信或不施加碰撞惩罚的情况下实现最优遗憾？
• RQ2 是否可以将先前工作中针对两名玩家和三支臂的策略推广至任意数量的玩家和臂？
• RQ3 能否使用基于树的组合划分方案替代几何构造，以确保无碰撞的动作选择？
• RQ4 如何利用共享随机性在不依赖通信的情况下协调玩家，同时保持遗憾度的次优性？

主要发现

• 所提策略的期望遗憾度被限制在 $O(mK^{11/2}\tilde{O}(√{T\log T}))$ 以内，与最优单玩家遗憾度仅在对数因子上存在差异。
• 以至少 $1 - 1/T$ 的概率，玩家在整个时间跨度 $T$ 内完全不会发生碰撞，即使在无通信条件下。
• 该策略依赖于分层决策树和参数空间的稳定划分，以确保邻近估计导致非碰撞动作。
• 使用修正的概率估计 $\widetilde{q}_t^X$ 允许算法在不改变划分结果的前提下校正估计误差。
• 通过证明实际策略与一种具有校正估计的‘作弊策略’行为完全一致，从而实现简洁的分析并导出遗憾边界。