[论文解读] Selfish Robustness and Equilibria in Multi-Player Bandits

Étienne Boursier, Vianney Perchet|arXiv (Cornell University)|Feb 4, 2020

Advanced Bandit Algorithms Research参考文献 44被引用 5

一句话总结

本文提出了首个适用于多玩家多臂赌博机的算法，可在玩家自私行为（即最大化自身收益而非集体利益）的情况下实现对数 regret，同时保持鲁棒性。该算法提出了一种基于惩罚的机制，利用观测到的碰撞来强制合作，在同质与异质设置下均实现了近似最优的 regret。

ABSTRACT

Motivated by cognitive radios, stochastic multi-player multi-armed bandits gained a lot of interest recently. In this class of problems, several players simultaneously pull arms and encounter a collision - with 0 reward - if some of them pull the same arm at the same time. While the cooperative case where players maximize the collective reward (obediently following some fixed protocol) has been mostly considered, robustness to malicious players is a crucial and challenging concern. Existing approaches consider only the case of adversarial jammers whose objective is to blindly minimize the collective reward. We shall consider instead the more natural class of selfish players whose incentives are to maximize their individual rewards, potentially at the expense of the social welfare. We provide the first algorithm robust to selfish players (a.k.a. Nash equilibrium) with a logarithmic regret, when the arm performance is observed. When collisions are also observed, Grim Trigger type of strategies enable some implicit communication-based algorithms and we construct robust algorithms in two different settings: the homogeneous (with a regret comparable to the centralized optimal one) and heterogeneous cases (for an adapted and relevant notion of regret). We also provide impossibility results when only the reward is observed or when arm means vary arbitrarily among players.

研究动机与目标

• 解决当玩家自私行动而非合作时，多玩家赌博机算法缺乏鲁棒性的问题。
• 设计一种去中心化的算法，即使部分玩家偏离以最大化自身收益，也能保持低 regret。
• 确立在自私鲁棒性与次线性 regret 同时可实现的条件。
• 形式化并分析在部分反馈下去中心化多玩家赌博机中纳什均衡的概念。
• 证明当仅观测到奖励或各玩家的臂均值任意变化时的不可能性结果。

提出的方法

• 在固定时间 $T_{\text{punish}}$ 后触发惩罚协议，合作玩家利用集中不等式以高概率估计臂的均值。
• 采用格雷姆触发（Grim Trigger）策略：若某玩家被观测到偏离（例如，与其他玩家发生碰撞），则所有其他玩家切换至惩罚阶段，避开该偏离者的偏好臂。
• 利用观测到的碰撞实现隐式通信，并协调至共同分配，从而在去中心化环境下实现集体学习。
• 采用随机初始化阶段，对角色（如选择顶级臂的“独裁者”）进行均匀随机分配，确保公平性并防止操纵。
• 推导在惩罚机制下自私玩家的期望收益边界，表明其最多比最优个体收益高出一个常数因子（$ ilde{\theta}$）。
• 利用 $ ho$-异质性假设来界定跨玩家均值比值，从而在偏好差异下实现 regret 分析。

实验结果

研究问题

• RQ1 能否设计一种去中心化的多玩家赌博机算法，在观测到碰撞的前提下，实现对数 regret，同时对自私玩家（最大化自身收益）具有鲁棒性？
• RQ2 在仅有部分反馈且无直接通信的情况下，何时可设计多玩家赌博机中的纳什均衡？
• RQ3 如何利用观测到的碰撞实现隐式通信，并在缺乏协调的情况下强制合作？
• RQ4 当仅观测到奖励（无碰撞信息）时，自私鲁棒性的基本极限是什么？
• RQ5 当各玩家的臂均值任意变化时，是否可能在异质设置下实现次线性 regret？

主要发现

• 所提出的 Selfish-Robust MMAB 算法在观测到碰撞且满足 $ ho$-异质性假设时，对自私玩家具有对数 regret。
• 在同质情况下，该算法的 regret 与集中式最优解相比，仅相差对数因子。
• 在异质情况下，该算法确保任何自私玩家的收益不会超过最优个体收益的常数因子（$ ilde{\theta} = \tilde{\theta}(ρ)$）。
• 证明了一个不可能性结果：当仅观测到奖励时，无法同时保证次线性 regret 与自私鲁棒性。
• 另一个不可能性结果表明：当各玩家的臂均值任意变化时，无法同时保证次线性 regret 与自私鲁棒性。
• 惩罚机制能有效将自私玩家的收益增益限制在最优个体收益的常数因子内，即使面对对抗性行为亦成立。