[論文レビュー] New Algorithms for Multiplayer Bandits when Arm Means Vary Among Players

Emilie Kaufmann, Abbas Mehrabian|arXiv (Cornell University)|Feb 4, 2019

Advanced Bandit Algorithms Research被引用数 3

ひとこと要約

本稿では、プレイヤー固有のアーム平均と衝突ペナルティを伴うマルチプレイヤー確率的マルチアームバンディット問題に対して、新規のアルゴリズムを提案する。一般の場合には任意の $\kappa > 0$ に対して $O((\log T)^{1+\kappa})$ の期待 regrets を達成し、一意な最適割り当てが存在する場合には $O(\log T)$ のレグレットを達成する。この手法は、通信制約下でも、分散学習と動的探索および衝突回避戦略を活用して、レグレットを最小化することを目的としている。

ABSTRACT

We study multiplayer stochastic multi-armed bandit problems in which the players cannot communicate, and if two or more players pull the same arm, a collision occurs and the involved players receive zero reward. Moreover, we assume each arm has a different mean for each player. Let $T$ denote the number of rounds. An algorithm with regret $O((\log T)^{2+\kappa})$ for any constant $\kappa$ was recently presented by Bistritz and Leshem (NeurIPS 2018), who left the existence of an algorithm with $O(\log T)$ regret as an open question. In this paper, we provide an affirmative answer to this question in the case when there is a unique optimal assignment of players to arms. For the general case we present an algorithm with expected regret $O((\log T)^{1+\kappa})$, for any $\kappa>0$.

研究の動機と目的

• BistritzとLeshemが提起した未解決の問題、すなわち、プレイヤー固有のアーム平均を伴うマルチプレイヤー・バンディット問題において $O(\log T)$ のレグレットが達成可能かどうかを解明すること。
• 通信が不可能な状況下で、衝突がゼロ報酬をもたらす場合に、レグレットを最小化する分散型アルゴリズムを設計すること。
• 複数の最適割り当てが存在する一般の場合を扱い、多項式的でないレグレット成長を保証すること。

提案手法

• 各プレイヤーが推定された平均値と探索ボーナスに基づいて独立にアームを選択する分散学習フレームワークを採用する。
• プレイヤー数とプレイヤー間でのアーム平均の分散に応じて適応的に変化する動的探索戦略を導入する。
• 衝突検出と回避メカニズムを統合し、衝突が発生した際にプレイヤーが選択を調整できるようにする。
• 集中不等式と衝突回数の上限を用いたレグレット解析により、プレイヤー固有の平均の構造を活用する。
• 探索と活用のバランスを保ちつつ干渉を最小限に抑えるために、フェーズ別探索スケジュールを用いる。
• 一意な最適割り当てが存在する場合、合計レグレットが時間 $T$ に対して対数的に増加することを証明する。

実験結果

リサーチクエスチョン

• RQ1 通信なしで、プレイヤー固有のアーム平均を伴うマルチプレイヤー・バンディット問題において、$O(\log T)$ のレグレットを達成できるアルゴリズムは存在するか？
• RQ2 複数の最適割り当てが存在する一般の場合における最小の可能なレグレットは何か？
• RQ3 衝突がゼロ報酬をもたらす状況下で、調整なしにプレイヤーが効率的に自身の最適アームを学習する方法は何か？
• RQ4 対数的レグレットを達成するために必要なアーム平均に関する構造的仮定は何か？
• RQ5 アルゴリズムの性能は、プレイヤー数やアーム数の増加に伴ってどのようにスケーリングするか？

主な発見

• 本稿では、プレイヤーからアームへの一意な最適割り当てが存在する場合、$O(\log T)$ のレグレットが達成可能であることを確立している。
• 一般の場合（複数の最適割り当てが存在する場合）において、任意の $\kappa > 0$ に対して $O((\log T)^{1+\kappa})$ の期待レグレットを達成しており、従来の $O((\log T)^{2+\kappa})$ の境界を改善している。
• アーム平均がプレイヤー間で異なるという仮定の下で、通信がなくとも個別に学習が可能であるため、この境界が導出可能である。
• 適応的探索と分散型意思決定を用いることで、アルゴリズムは衝突を効果的に回避している。
• 解析により、衝突回数が有界であり、プレイヤーが最適アームを学習するに従い減少することが確認されている。
• BistritzとLeshem（NeurIPS 2018）が提起した未解決問題を解決し、一意な最適割り当てが存在する場合に、対数的レグレットの達成可能性を実証した。