[論文レビュー] Multi-Player Bandits -- a Musical Chairs Approach

Jonathan Rosenski, Ohad Shamir+1 more|arXiv (Cornell University)|Dec 9, 2015

Advanced Bandit Algorithms Research参考文献 5被引用数 3

ひとこと要約

本稿では、衝突を伴う多人数マルチアームバンディットに対して、通信を一切行わない2つのアルゴリズム—Musical Chairs (MC) および Dynamic Musical Chairs (DMC)—を提案する。固定の報酬ギャップ下で、MCは定数レグレット、DMCは Õ(√(xT)) のレグレットを達成する。プレイヤー数の事前知識は不要である。これらの手法は、分散型探索と確率的および恒常性ヒューリスティクスに基づく衝突解決に依存する。

ABSTRACT

We consider a variant of the stochastic multi-armed bandit problem, where multiple players simultaneously choose from the same set of arms and may collide, receiving no reward. This setting has been motivated by problems arising in cognitive radio networks, and is especially challenging under the realistic assumption that communication between players is limited. We provide a communication-free algorithm (Musical Chairs) which attains constant regret with high probability, as well as a sublinear-regret, communication-free algorithm (Dynamic Musical Chairs) for the more difficult setting of players dynamically entering and leaving throughout the game. Moreover, both algorithms do not require prior knowledge of the number of players. To the best of our knowledge, these are the first communication-free algorithms with these types of formal guarantees. We also rigorously compare our algorithms to previous works, and complement our theoretical findings with experiments.

研究の動機と目的

• プレイヤーが通信できない状況で、同じアームを選択すると衝突する多人数マルチアームバンディットの課題に対処すること。
• すべてのプレイヤーが開始時から存在する静的設定において、定数レグレットを達成する通信フリーのアルゴリズムを設計すること。
• プレイヤーがゲーム中に参加・退場する動的設定に拡張し、サブ線形レグレットを保証すること。
• 先行研究で一般的に仮定されているプレイヤー数の事前知識を排除すること。
• 現実の認知ラジオネットワークの制約下での性能に対して、理論的保証と実験的検証を提供すること。

提案手法

• 静的設定向けにMusical Chairs (MC) アルゴリズムを提案。プレイヤーはアームをランダムに探索し、衝突がなければ選択したアームに恒常的に留まる。
• MCに確率的乱数化機構を導入し、プレイヤーが高確率で異なるアームに到達することを保証し、衝突を最小限に抑える。
• 動的設定向けにDynamic Musical Chairs (DMC) を設計。プレイヤーは時間に応じて減衰する恒常性確率を使用し、変化するプレイヤー数に適応する。
• 通信なしで衝突を検出可能なメカニズムを採用。プレイヤーは自身の行動から衝突の有無を推定可能である。
• 最良アームの平均報酬と2番目に良いアームとのギャップを固定正の値と仮定し、有界レグレット解析を実施。
• 集中不等式と確率的バウンドを用いて、敵対的プレイヤー行動下でも高確率でのレグレット保証を証明。

実験結果

リサーチクエスチョン

• RQ1 通信フリーのアルゴリズムは、プレイヤー数が未知の静的多人数マルチアームバンディット設定で定数レグレットを達成可能か？
• RQ2 プレイヤーが時間経過とともに参加・退場する動的設定において、調整なしにサブ線形レグレットを達成する方法は何か？
• RQ3 衝突を伴うバンディット問題において、プレイヤー数を事前に知らないとレグレット性能にどのような影響が生じるか？
• RQ4 既存のアルゴリズムは動的設定でどのように動作するか？どのような状況で線形レグレットを示すか？
• RQ5 調整なしの分散型アルゴリズムでも、現実的仮定下で最適なレグレットスケーリングを達成可能か？

主な発見

• Musical Chairs (MC) アルゴリズムは、固定報酬ギャップ下で、時間枠Tに依存しない高確率での定数レグレットを達成する。
• Dynamic Musical Chairs (DMC) アルゴリズムは、動的設定で高確率で Õ(√(xT)) のレグレットを達成する。ここでxはプレイヤーの参加・退場の総回数を表す。
• MEGAなどの先行アルゴリズムのレグレットは動的設定下で Ω(T) に達することがあり、現実のプレイヤー動態下ではスケーリングに失敗することが示された。
• 提案手法はプレイヤー数の事前知識を一切不要としており、先行手法がこの情報を必要としている点と比べて顕著な改善である。
• 実験により理論的予測が妥当であることが検証され、MCおよびDMCは静的および動的両設定で既存手法を上回る性能を示した。
• 解析により、DMCのレグレットバウンド O(√(xT)) がタイトであり、先行手法が失敗する状況においても線形レグレットより顕著に優れていることが示された。