[論文レビュー] Multi-Player Bandits Revisited

Lilian Besson, Emilie Kaufmann|arXiv (Cornell University)|Nov 7, 2017

Advanced Bandit Algorithms Research被引用数 19

ひとこと要約

本稿は、フィードバックレベルの階層を導入することで、マルチプレーヤー・マルチアームバンディットを再考し、センシングフィードバック下での最良のM本のアームの選択において、漸近的に最適な性能を達成する2つの新しい分散型アルゴリズム—RandTopMとMCTopM—を提案する。また、センシングなしの状況を想定した「自己中心的（Selfish）」ヒューリスティックを導入し、理論的・実験的検証を通じてMCTopMが対数的レグレットを達成し、特に高衝突環境下で既存手法を上回ることを示した。

ABSTRACT

Multi-player Multi-Armed Bandits (MAB) have been extensively studied in the literature, motivated by applications to Cognitive Radio systems. Driven by such applications as well, we motivate the introduction of several levels of feedback for multi-player MAB algorithms. Most existing work assume that sensing information is available to the algorithm. Under this assumption, we improve the state-of-the-art lower bound for the regret of any decentralized algorithms and introduce two algorithms, RandTopM and MCTopM, that are shown to empirically outperform existing algorithms. Moreover, we provide strong theoretical guarantees for these algorithms, including a notion of asymptotic optimality in terms of the number of selections of bad arms. We then introduce a promising heuristic, called Selfish, that can operate without sensing information, which is crucial for emerging applications to Internet of Things networks. We investigate the empirical performance of this algorithm and provide some first theoretical elements for the understanding of its behavior.

研究の動機と目的

• センシングが不可能な、特に新興のIoTアプリケーションを想定した状況下における、フィードバック制約の変動に伴うマルチプレーヤー・バンディットの理論的・アルゴリズム的フレームワークの欠如に対処すること。
• 分散型マルチプレーヤー・バンディットにおけるレグレットの既存の下界を改善し、問題依存のレグレット境界を厳密化すること。
• 最適でないアームの選択において漸近的に最適な性能を達成し、対数的レグレットを達成する新しい分散型アルゴリズム—RandTopMとMCTopM—の設計と分析を行うこと。
• センシング情報が利用できない状況に特化した、画期的なヒューリスティック「Selfish」の提案と評価を行い、IoTや低複雑度の無線ネットワークにおいて重要となる。
• 多様な設定、特にプレーヤー数とアーム数の比が高い状況や困難なバンディット例において、これらのアルゴリズムの性能を理論的・実験的に検証すること。

提案手法

• 情報理論的原則に基づき、先行研究より tighter な、分散型マルチプレーヤー・バンディットの問題依存レグレット下界を新たに導出する。
• 各ステップで推定された上位M本のアームから一様にランダムに選択する、RandTopMというランダム化アルゴリズムを導入し、衝突確率を低減する。
• 期待報酬が高く、衝突リスクが低いアームを優先するため、KL-UCBに基づく信頼区間を用いる、より洗練されたMCTopMを導入する。
• 最適なM本のアーム構成の総報酬と実際の累積報酬との差として定義される、中央集権的レグレット指標を性能評価に用いる。
• 両アルゴリズムの基盤として、単一プレーヤー・バンディットにおける対数的レグレット特性を有するKL-UCBアルゴリズムを採用する。
• センシング情報がなく、プレーヤーが独立に行動できる状況を想定し、ランダム化と自己回避を活用して衝突を低減する「Selfish」ヒューリスティックを提案する。

実験結果

リサーチクエスチョン

• RQ1 センシングフィードバック下において、分散型マルチプレーヤー・バンディットのレグレットの理論的下界をどのように厳密化できるか？
• RQ2 最適でないアームの選択回数において、漸近的に最適な性能を達成する新しい分散型アルゴリズムを設計できるか？
• RQ3 MCTopMのレグレット性能はどのようであり、新たに導出された下界と一致する対数的レグレット境界を達成するか？
• RQ4 センシングフィードバックが欠如する状況下で「Selfish」ヒューリスティックはどのように性能を発揮するか？その理論的・実験的性質は？
• RQ5 高Mまたは高Kの環境下で、RandTopMとMCTopMはRhoRand や Selfish よりも優れる条件は何か？特に高衝突環境下での性能優位性は？

主な発見

• 本稿では、Anandkumarらの先行研究を上回る、よりタイトな問題依存レグレット下界を、分散型マルチプレーヤー・バンディットに対して新たに確立した。
• MCTopMは、新たに導出された理論的下界と一致する対数的レグレット境界を達成しており、レグレット成長の観点から漸近的に最適であることを示した。
• M = K（9プレーヤー、9アーム）の場合、MCTopMは一定のレグレットを維持するが、RhoRand や Selfish は顕著に高いレグレットを示し、MCTopMの頑健性を示した。
• RandTopMとMCTopMは、高衝突および高ばらつき環境下を含め、複数の問題例において、RhoRand や Selfish よりも実験的に優れた性能を示した。
• センシングなしの状況下で「Selfish」ヒューリスティックは競争力のある性能を発揮し、低M環境下ではRhoRandを上回り、場合によってはMCTopMでさえも上回る。これは、IoTアプリケーションにおいて有望である。
• K=17アーム、M=12またはM=17の困難な問題設定において、MCTopMは安定した性能を維持する一方、他のアルゴリズムは著しく失敗する。これにより、MCTopMの耐障害性が顕著に示された。