[論文レビュー] Multi-Player Bandits: The Adversarial Case

Pragnya Alatur, Kfir Y. Levy+1 more|arXiv (Cornell University)|Feb 21, 2019

Advanced Bandit Algorithms Research参考文献 17被引用数 18

ひとこと要約

本稿では、通信のない状況下で、敵対的かつ非定常な環境において、サブ線形なリグレットを保証する最初のマルチプレイヤーバンディットアルゴリズムを提示する。ブロックベースの協調メカニズムと衝突信号を用いることで、$\widetilde{O}(K^{4/3}N^{2/3}T^{2/3})$ のリグレットバウンドを達成し、敵対的マルチプレイヤーバンディット分野における未解決問題を解決する。

ABSTRACT

We consider a setting where multiple players sequentially choose among a common set of actions (arms). Motivated by a cognitive radio networks application, we assume that players incur a loss upon colliding, and that communication between players is not possible. Existing approaches assume that the system is stationary. Yet this assumption is often violated in practice, e.g., due to signal strength fluctuations. In this work, we design the first Multi-player Bandit algorithm that provably works in arbitrarily changing environments, where the losses of the arms may even be chosen by an adversary. This resolves an open problem posed by Rosenski, Shamir, and Szlak (2016).

研究の動機と目的

• プレイヤー間の通信が不可能な敵対的かつ非定常なマルチプレイヤーバンディット設定において、理論的保証が不足している問題に対処する。
• ローゼンスキー、シャミル、シュラク（2016年）が提起した、通信なしで効率的なアルゴリズムを設計するという未解決問題を解決する。
• 衝突フィードバックのみを通信プリミティブとして用いることで、プレイヤー間の協調を可能にするメカニズムを設計する。
• 損失が敵対的により任意に変化する環境においても、サブ線形なリグレットを保証する。
• チャネル障害や突然のリンク改善といった動的ネットワーク環境における性能について理論的保証を提供する。

提案手法

• プレイヤーが長い期間にわたり一貫したアーム選択を維持できるブロックベースの構造を導入する。
• 単一のコーディネータプレイヤーが推定損失に基づいてアームを選択し、衝突信号を用いて意思決定をブロードキャストする。
• 衝突を暗黙的通信のプリミティブとして活用する：プレイヤーは共通のアームを使用することで協調を検出する。
• 「マーチング・チアーズ」フェーズを実装し、アームの所有権を割り当て、学習フェーズ後には衝突が発生しないようにする。
• 不偏な損失推定と指数重み付けを用いてアーム選択をガイドし、敵対的損失系列に適応する。
• 一度アームの所有権を獲得した（最初の非衝突選択後）プレイヤーは、以降のゲーム中もそのアームを保持するように制御する。

実験結果

リサーチクエスチョン

• RQ1 通信のない状況下で、マルチプレイヤーバンディットアルゴリズムが敵対的かつ非定常な環境においてサブ線形なリグレットを達成できるか？
• RQ2 衝突フィードバックのみを通信プリミティブとして用いる協調メカニズムを設計することは可能か？
• RQ3 通信不可の制約下で、敵対的マルチプレイヤーバンディット設定において達成可能な最適なリグレットバウンドは何か？
• RQ4 リンク障害や改善といった突然の変化を伴う動的環境下で、アルゴリズムの性能はいかがなるか？
• RQ5 初期学習フェーズ後に環境が変化した場合、従来の手法とは異なり、本アルゴリズムは低リグレットを維持できるか？

主な発見

• 提案されたアルゴリズムは、$\widetilde{O}(K^{4/3}N^{2/3}T^{2/3})$ のリグレットバウンドを達成し、$K$ と $N$ が定数の場合、$\widetilde{O}(T^{2/3})$ に相当する。
• 確率的設定では、学習フェーズ後、従来の手法と同等の性能を示し、$T_0$ を超えてもリグレットが増加しなくなる。
• 突然のリンク障害（例：$\mu=0.1$ から $\mu=0.9$ に変化）が発生した動的シナリオでも、アルゴリズムは適応しリグレットを低減するが、MC は反応しない。
• 以前に不良だったリンクが改善した場合（例：$\mu=0.9$ から $\mu=0.1$ に変化）、アルゴリズムは変化を検出し活用できるが、MC は劣悪な選択に固執する。
• 敵対的損失系列に対しても、アルゴリズムは一貫したリグレット成長率を維持し、任意の環境変化に対して強い耐性を示す。
• 実験により、非定常環境下、特に学習フェーズ後に環境が変化した場合、MC（マーチング・チアーズ）を上回る性能を示すことが確認された。