[論文レビュー] A Practical Algorithm for Multiplayer Bandits when Arm Means Vary Among Players

Étienne Boursier, Emilie Kaufmann+2 more|arXiv (Cornell University)|Feb 4, 2019

Advanced Bandit Algorithms Research参考文献 28被引用数 31

ひとこと要約

本稿では、プレイヤーが異なる期待報酬を持つが通信できない非均質な多人数マルチアームバンディット問題に対して実用的なアルゴリズム M-ETC-Elim を提案する。強制的衝突による暗黙の調整とマッチング除去を組み合わせ、最適マッチングが一意である場合に O(ln T) のレギュレートを達成——NeurIPS 2018 で提起された未解決問題を解消——かつ、最初のサブ線形ミニマックスレギュレート境界 O(√T ln T) を提供する。

ABSTRACT

We study a multiplayer stochastic multi-armed bandit problem in which players cannot communicate, and if two or more players pull the same arm, a collision occurs and the involved players receive zero reward. We consider the challenging heterogeneous setting, in which different arms may have different means for different players, and propose a new and efficient algorithm that combines the idea of leveraging forced collisions for implicit communication and that of performing matching eliminations. We present a finite-time analysis of our algorithm, giving the first sublinear minimax regret bound for this problem, and prove that if the optimal assignment of players to arms is unique, our algorithm attains the optimal $O(\ln(T))$ regret, solving an open question raised at NeurIPS 2018.

研究の動機と目的

• 認知無線応用においてより現実的である、プレイヤー間でアームの期待報酬が異なる多人数バンディットにおける分散型協調の課題に対処すること。
• プレイヤーが明示的な通信を行わずに衝突を介して暗黙の通信を行い、競合を回避し、最適マッチングに収束できるアルゴリズムを設計すること。
• 最悪ケースでサブ線形レギュレートを達成し、最適マッチングが一意である場合に対数的レギュレートを達成することにより、Bistritz と Leshem (2018) が提起した未解決問題を解消すること。
• タイトな境界を含む有限時間におけるレギュレート解析を提供し、最適マッチングが一意でない場合も含めてほぼ最適な性能を達成すること。

提案手法

• 強制的衝突による探索と非最適アーム・プレイヤー割り当ての除去を組み合わせた二段階アルゴリズム M-ETC-Elim を導入する。
• プレイヤーが探索と活用のフェーズを交互に繰り返す階層的エポック構造を採用し、衝突インジケータを用いて潜在的な競合を推定する。
• 信頼区間と観測された報酬差に基づいて、低性能なアーム・プレイヤーペアを除去するマッチング除去メカニズムを採用する。
• ハイパーパrameter c を用いたパrametrized探索スケジュールを適用し、c > 1 で探索と活用のトレードオフを制御し、レギュレートが O(ln(T)^{1+1/c}) にスケーリングすることを実現する。
• 凸性の議論と集中不等式を用いて期待レギュレートをバウンドし、特に非最適エッジのギャップ依存バウンドを活用する。
• 特に最適マッチングが一意である仮定のもとで、活用フェーズに到達するまでのエポック数の分析を新たに導入し、タイトにした。

実験結果

リサーチクエスチョン

• RQ1 最適マッチングが一意である非均質な多人数バンディット設定において、完全に分散型のアルゴリズムが対数的レギュレートを達成できるか？
• RQ2 通信なしの非均質な多人数バンディット問題で達成可能なミニマックスレギュレートは何か？ そしてそれはサブ線形にできるか？
• RQ3 明示的シグナルなしの状況で、強制的衝突による暗黙の通信を効果的に活用し、プレイヤーを協調させ衝突を回避できるか？
• RQ4 最適マッチングが一意でない状況でもほぼ最適なレギュレートを達成できる実用的アルゴリズムを設計できるか？
• RQ5 アルゴリズムのハイパーパrameter c が探索とレギュレート性能のトレードオフに与える影響は何か？

主な発見

• 最適マッチングが一意である場合、M-ETC-Elim は O(ln T) のレギュレートを達成し、情報理論的下界と一致し、NeurIPS 2018 で提起された未解決問題を解消する。
• 本アルゴリズムは、非均質な多人数バンディット問題に対して、最初のサブ線形ミニマックスレギュレート境界 O(√T ln T) を提供する。
• 複数の最適マッチングが存在する一般設定では、任意の c > 1 に対してレギュレートが O(ln(T)^{1+1/c}) にスケーリングされ、c → 1 に近づくにつれて対数的性能に近づく。
• シミュレーションでは、c = 1 の M-ETC-Elim が、GoT や Selfish-UCB と比較して、最適マッチングが一意でない場合も含め、両方の状況で顕著に優れた性能を示す。
• 多くのプレイヤーやアームが存在する困難な設定、近似的な最適マッチングを含む状況でも、本アルゴリズムの性能は頑健であり、強い実効性を維持する。
• 解析により、特に最適マッチングが一意である仮定のもとで、活用フェーズに到達するまでのエポック数のタイトなバウンドが確立され、対数的レギュレート保証の実現が可能になった。