[論文レビュー] SIC-MMAB: Synchronisation Involves Communication in Multiplayer Multi-Armed Bandits

Étienne Boursier, Vianney Perchet|arXiv (Cornell University)|Sep 21, 2018

Advanced Bandit Algorithms Research参考文献 30被引用数 15

ひとこと要約

本稿では、意図的な衝突を用いてプレイヤー間で暗黙の通信を可能にする分散型アルゴリズムであるSIC-MMABを提案する。この手法により、集中型のレグレット性能を達成する。また、同期化下では標準的な分散型マルチプレイヤー・バンディットの下界が無効であることを示し、センシングなしのモデルにおいて対数的レグレットを達成する新しいアルゴリズムを提案することで、分野における重要な理論的ギャップを解消する。

ABSTRACT

Motivated by cognitive radio networks, we consider the stochastic multiplayer multi-armed bandit problem, where several players pull arms simultaneously and collisions occur if one of them is pulled by several players at the same stage. We present a decentralized algorithm that achieves the same performance as a centralized one, contradicting the existing lower bounds for that problem. This is possible by "hacking" the standard model by constructing a communication protocol between players that deliberately enforces collisions, allowing them to share their information at a negligible cost. This motivates the introduction of a more appropriate dynamic setting without sensing, where similar communication protocols are no longer possible. However, we show that the logarithmic growth of the regret is still achievable for this model with a new algorithm.

研究の動機と目的

• 集中型と分散型のマルチプレイヤー・マルチアームバンディットアルゴリズムの性能差を是正すること。
• 同期化下では成立しない既存の分散型マルチプレイヤー・バンディットの下界を挑戦すること。
• 衝突フィードバックや明示的通信が利用できない分散型アルゴリズムで、対数的レグレットを達成すること。
• センシングが不可能な通信が不可能な新しい動的モデルを形式化し、タイトなレグレット境界を確立すること。
• 既知の下界と実際のアルゴリズム的性能の間の理論的不整合を解消すること。

提案手法

• 意図的な衝突を用いた新しい通信プロトコルを導入し、明示的シグナリングなしで情報共有を可能にする。
• 全プレイヤーが同時に開始する同期化初期化フェーズを採用し、制御された衝突を通じて協調的な情報交換を可能にする。
• 初期フェーズにおいてプレイヤーを異なるアームに割り当てるためのMusical Chairs手順を用いることで、初期の衝突を最小限に抑える。
• 衝突を考慮したレグレット分解を用いたUCBベースの探索戦略を採用し、探索と活用のバランスを取る。
• 衝突フィードバックが得られないノーセンシングモデル用に、新たなアルゴリズムを提案し、対数的レグレットを達成する。
• ベルヌーイ報酬下では、自己中心的アルゴリズムにおける同点処理の失敗確率が理論的に非ゼロであり、長期的に線形レグレットが生じるという仮説を支持することを証明する。

実験結果

リサーチクエスチョン

• RQ1 意図的な衝突を用いて、分散型マルチプレイヤー・バンディットにおける暗黙の通信を実現できるか？
• RQ2 なぜ既存の分散型マルチプレイヤー・バンディットの下界が、実際のアルゴリズム的性能を反映していないのか？
• RQ3 センシングなしの分散型、マルチプレイヤー・バンディットモデルで、対数的レグレットを達成できるか？
• RQ4 同期化がマルチプレイヤー・バンディットにおける通信とレグレットに与える影響は何か？
• RQ5 衝突フィードバックが欠如する状況下でも、自己中心的アルゴリズムに理論的保証を設定できるか？

主な発見

• 提案されたSIC-MMABアルゴリズムは、集中型の下界に漸近的に一致するレグレットを達成し、既存の下界と矛盾する。
• 意図的な衝突による通信は、低コストで効果的に実現可能であり、これにより、このような調整が存在しないと仮定する従来の下界が無効になる。
• ノーセンシングモデルでは、新しいアルゴリズムが報酬差の2乗に依存する形で対数的レグレットを達成し、理論的限界と一致する。
• 自己中心的アルゴリズムにおける同点処理の失敗確率は非ゼロであり、ベルヌーイ報酬下では理論的に持続的であることが示され、線形レグレットの仮説を支持する。
• 解析により、非最適なアームは高確率で特定可能であり、各アームの探索レグレットはO(M log T / Δ_k)で有界であることが示された。
• 全レグレットは高確率でO(log T)で上界が与えられ、通信コストと探索コストが支配的である。