[論文レビュー] My Fair Bandit: Distributed Learning of Max-Min Fairness with Multi-player Bandits

Ilai Bistritz, Tavor Z. Baharav+2 more|arXiv (Cornell University)|Feb 22, 2020

Advanced Bandit Algorithms Research被引用数 9

ひとこと要約

この論文では、通信なしでリソース割り当てにおける最大最小公平性を達成する完全に分散型の多人数バンディットアルゴリズム、My Fair Banditを提案する。適応的エポックベースの探索と信頼区間を用いて最適なプレイヤー・アームマッチングを学習し、$ O(\log T \log\log T) $ のレグレットを達成する。これは、調整なしの状況におけるこの公平性目的に対してほぼ最適な結果である。

ABSTRACT

Consider N cooperative but non-communicating players where each plays one out of M arms for T turns. Players have different utilities for each arm, representable as an NxM matrix. These utilities are unknown to the players. In each turn players select an arm and receive a noisy observation of their utility for it. However, if any other players selected the same arm that turn, all colliding players will all receive zero utility due to the conflict. No other communication or coordination between the players is possible. Our goal is to design a distributed algorithm that learns the matching between players and arms that achieves max-min fairness while minimizing the regret. We present an algorithm and prove that it is regret optimal up to a $\\log\\log T$ factor. This is the first max-min fairness multi-player bandit algorithm with (near) order optimal regret.

研究の動機と目的

• プレイヤー間の通信なしで、最大最小公平性を達成する分散型の多人数バンディットアルゴリズムを設計すること。
• 報酬が異種であり未知である状況で、最適なプレイヤー・アームマッチングを学習する際のレグレットを最小限に抑えること。
• 衝突の存在と調整なしの状況において、公平な割り当てへの収束を扱う課題に取り組むこと。
• バンディット設定における最大最小公平性に対して、ほぼ最適なレグレットバウンドを確立すること。

提案手法

• アルゴリズムはエポック単位で動作し、探索と活用のフェーズを交互に繰り返す。適応的エポック長の延長により、探索と収束のバランスを取る。
• ホフディングの不等式に基づく信頼区間を用いて、プレイヤー固有のアーム報酬を推定し、近似的に最適なマッチングを検出する。
• マッチングフェーズでは、すべてのプレイヤーが少なくとも $\gamma^*$ の報酬を得る $\gamma^*$-マッチング（プレイヤー・アームの割り当て）を、分散型の学習プロセスで特定する。
• ステップサイズ $\varepsilon_k$ はエポックを経て減少し、後段階での探索の精度を高め、レグレットを低減する。
• 吸収マルコフ連鎖の構造により、$\gamma^*$-マッチングが発見されると、プレイヤーがその状態に高い確率で留まることが保証される。
• 障害を回避し、最小のプレイヤー報酬を優先することで公平性を確保するため、しきい値に基づく選択ルールを用いる。

実験結果

リサーチクエスチョン

• RQ1 完全に分散型の多人数バンディットアルゴリズムは、通信なしで最大最小公平性を達成できるか？
• RQ2 確率的で衝突を伴うバンディット設定において、最大最小公平な割り当てを学習する際の最適なレグレットは何か？
• RQ3 報酬が異種であり未知である状況で、プレイヤーはどのように公平なマッチングに収束できるか？
• RQ4 合意形成や通信が欠如している状況でも、レグレットをほぼ最適に束縛できるか？

主な発見

• 提案されたアルゴリズムは、通信なしの状況における最大最小公平性目的に対して、$ O(\log T \log\log T) $ の総期待レグレットを達成する。これはほぼ最適な結果である。
• レグレットバウンドは $ \log\log T $ 要因を除きタイトであり、この性能水準を多人数バンディットにおける最大最小公平性で達成した最初のアルゴリズムである。
• アルゴリズムは、$\gamma^*$ が達成可能な最小報酬の最大値である場合に、プレイヤーが $\gamma^*$-マッチングに高い確率で収束することを保証する。
• 収束時間は $ O(\log T) $ で束縛され、コンSENSUSベースのアプローチで見られる $ M $-要因のペナルティを回避する。
• 解析により、$ \log T $ 項における乗法的定数を制御できる場合、レグレットを $ O(\log T) $ まで改善できることが示唆されるが、これは未解決の問題のままである。