[论文解读] My Fair Bandit: Distributed Learning of Max-Min Fairness with Multi-player Bandits

Ilai Bistritz, Tavor Z. Baharav+2 more|arXiv (Cornell University)|Feb 22, 2020

Advanced Bandit Algorithms Research被引用 9

一句话总结

该论文提出 My Fair Bandit，一种完全分布式的多玩家 bandit 算法，在无通信的情况下实现资源分配中的最大最小公平性。它采用自适应的基于时隙的探索和置信区间，以学习最优的玩家-臂匹配，实现 $ O(\log T \log\log T) $ 的遗憾，该遗憾水平对于此公平性目标而言在无协调条件下近乎最优。

ABSTRACT

Consider N cooperative but non-communicating players where each plays one out of M arms for T turns. Players have different utilities for each arm, representable as an NxM matrix. These utilities are unknown to the players. In each turn players select an arm and receive a noisy observation of their utility for it. However, if any other players selected the same arm that turn, all colliding players will all receive zero utility due to the conflict. No other communication or coordination between the players is possible. Our goal is to design a distributed algorithm that learns the matching between players and arms that achieves max-min fairness while minimizing the regret. We present an algorithm and prove that it is regret optimal up to a $\\log\\log T$ factor. This is the first max-min fairness multi-player bandit algorithm with (near) order optimal regret.

研究动机与目标

• 设计一种用于多玩家 bandits 的分布式算法，实现在玩家之间无通信情况下的最大最小公平性。
• 在效用异质且未知的情况下，最小化学习最优玩家-臂匹配的遗憾。
• 解决在存在碰撞且无协调机制时，收敛到公平分配的挑战。
• 建立在 bandit 设置下，针对最大最小公平性的遗憾边界，使其近乎最优。

提出的方法

• 该算法在时隙中运行，交替进行探索和利用阶段，通过自适应延长策略平衡探索与收敛。
• 它基于 Hoeffding 不等式使用置信区间，以估计玩家特定的臂效用并检测近似最优匹配。
• 匹配阶段通过分布式学习过程识别 $\gamma^*$-匹配——即所有玩家获得至少 $\gamma^*$ 效用的玩家-臂分配。
• 步长 $\varepsilon_k$ 随时隙递减，以在后期阶段细化探索并减少遗憾。
• 吸收性马尔可夫链结构确保一旦找到 $\gamma^*$-匹配，玩家以高概率保持在该匹配中。
• 该算法使用基于阈值的选择规则以避免碰撞，并通过优先考虑最低玩家收益来确保公平性。

实验结果

研究问题

• RQ1 完全分布式的多玩家 bandit 算法是否能在无通信的情况下实现最大最小公平性？
• RQ2 在随机、基于碰撞的 bandit 设置下，学习最大最小公平分配的最优遗憾是多少？
• RQ3 当效用异质且未知时，玩家如何收敛到公平匹配？
• RQ4 尽管缺乏共识和通信，遗憾是否仍能近似最优地有界？

主要发现

• 所提出的算法实现了 $ O(\log T \log\log T) $ 的总期望遗憾，该遗憾水平对于无通信条件下最大最小公平性目标而言近乎最优。
• 遗憾边界在 $ \log\log T $ 因子内是紧致的，且该算法是首个在多玩家 bandits 中实现此性能水平的最大最小公平性算法。
• 该算法确保玩家以高概率收敛到 $\gamma^*$-匹配，其中 $\gamma^*$ 是可实现的最大最小效用。
• 收敛时间被限制在 $ O(\log T) $ 以内，且该算法避免了共识方法中常见的 $ M $-因子惩罚。
• 分析表明，若能控制 $ \log T $ 项中的乘法常数，遗憾可进一步优化至 $ O(\log T) $，尽管此问题仍为开放问题。