[論文レビュー] An Optimal Algorithm for Multiplayer Multi-Armed Bandits

Alexandre Proutière, Po-An Wang|arXiv (Cornell University)|Sep 28, 2019

Advanced Bandit Algorithms Research参考文献 7被引用数 4

ひとこと要約

本稿では、最適な漸近的レグレットバウンドを達成する、分散型の新しいアルゴリズム DPE（Decentralized Parsimonious Exploration）を提案する。これは、マルチプレイヤー・マルチアームバンディット（MMAB）問題に対する分散型のアルゴリズムであり、中央集権的最適アルゴリズムと同等の性能を達成する。1人のリーダーが探索を担当し、他のプレイヤー（フォロワー）が最良の経験的アームを常に選択することで、衝突を最小限の通信手段として使用する。これにより、有限の期待通信ラウンド数を保証し、SIC-MMABなどの先行手法よりも優れたレグレット保証を達成する。

ABSTRACT

The paper addresses the Multiplayer Multi-Armed Bandit (MMAB) problem, where $M$ decision makers or players collaborate to maximize their cumulative reward. When several players select the same arm, a collision occurs and no reward is collected on this arm. Players involved in a collision are informed about this collision. We present DPE (Decentralized Parsimonious Exploration), a decentralized algorithm that achieves the same regret as that obtained by an optimal centralized algorithm. Our algorithm has better regret guarantees than the state-of-the-art algorithm SIC-MMAB \cite{boursier2019}. As in SIC-MMAB, players communicate through collisions only. An additional important advantage of DPE is that it requires very little communication. Specifically, the expected number of rounds where players use collisions to communicate is finite.

研究の動機と目的

• 衝突が報酬収集を妨げる分散型マルチプレイヤー・マルチアームバンディットにおける調整の課題に対処すること。
• 中央集権的アルゴリズムから知られている根本的な漸近的レグレット下界に達するポリシーを設計すること。
• 情報交換を必須の衝突信号に限定することで、通信オーバーヘッドを最小限に抑えること。
• エージェントがプレイヤー数 M を事前に知らない状況でも、アルゴリズムが有効に機能することを保証すること。
• SIC-MMABなどの既存の分散型アルゴリズムよりも、レグレットと通信効率の両面で優れるようにすること。

提案手法

• DPEは、1人のプレイヤー（リーダー）がKL-UCBなどのインデックスポリシーを用いて効率的な探索を実行するリーダー・フォロワー型アーキテクチャを採用する。他のプレイヤー（フォロワー）は常にM番目の最良の経験的アームを選択する。
• リーダーは、M番目の最良の経験的アームの集合に変化が生じた場合、専用の通信アームでの衝突を通じてフォロワーにのみその変化を伝える。
• 初期化フェーズでは、事前の協調なしにM人のプレイヤーに異なるアームを割り当てるために、確率的直交化プロトコルを用いる。このプロセスは有限の期待時間を持ち、定数レグレットを寄与する。
• アルゴリズムはブロックベース通信を採用する。各K+1ラウンドのブロックでは、プレイヤーが状態を信号送出し、アームKでの衝突を検出できる。
• レグレット解析では、非最適アームが選択されるラウンド数を、集中不等式およびKLダイバージェンスに基づく境界を用いて制限する。
• 理論的解析により、通信のための衝突が発生するラウンド数の期待値が有限であり、全体のレグレットが中央集権的下界と一致することが証明されている。

実験結果

リサーチクエスチョン

• RQ1 分散型MMABアルゴリズムは、最適な中央集権的アルゴリズムと同等の漸近的レグレットを達成できるか？
• RQ2 効果的な調整を可能にしつつ、分散型MMABにおける通信を最小限に抑える方法は何か？
• RQ3 MMAB設定で最適なレグレットを達成するために必要な最小通信量は何か？
• RQ4 衝突に基づく信号伝達を用いるリーダー・フォロワー構造は、詳細な統計を共有せずに最適なパフォーマンスを達成できるか？
• RQ5 1人のプレイヤーのみが探索を行う「効率的探索」を採用することで、より優れたレグレットと通信効率が得られるか？

主な発見

• DPEはLaiとRobbinsによって確立された漸近的レグレット下界に達し、中央集権的最適アルゴリズムと同等の性能を達成する。
• プレイヤーが通信のために衝突を使用するラウンド数の期待値は有限であり、通信オーバーヘッドが最小限に抑えられる。
• DPEのレグレットは、$ \limsup_{T\to\infty} \frac{R^\pi(T)}{\log T} \leq \sum_{k>M} \frac{\mu_M - \mu_k}{\textnormal{kl}(\mu_k, \mu_M)} $ で有界であり、根本的な下界と一致する。
• 初期化フェーズは有限の期待持続時間を持ち、SIC-MMABの $ KM\log T $ のレグレットコストとは異なり、定数のレグレット寄与にとどまる。
• DPEは、特に $ \mu_M $ と $ \mu_k $ の差が小さいアームにおいて、SIC-MMABよりも優れたレグレット保証を達成する。これは、より効率的な探索に起因する。
• アルゴリズムはフォロワーが常にM番目の最良の経験的アームをプレイすることを保証し、リーダーは必要に応じてのみ探索を行うため、余分な探索が削減される。