[論文レビュー] Multi-player Multi-Armed Bandits with non-zero rewards on collisions for uncoordinated spectrum access

Akshayaa Magesh, Venugopal V. Veeravalli|arXiv (Cornell University)|Oct 21, 2019

Advanced Bandit Algorithms Research参考文献 29被引用数 10

ひとこと要約

本稿では、非対称な報酬を経験し、衝突時にも非ゼロの報酬を受けるユーザーを想定した、非協調的スペクトルアクセスのための分散型マルチプレイヤー多腕バンディット方策を提案する。この方策は、ある $ abla > 0$ に対して $O(\log^{2+\delta}{T})$ のオーダーの期待リグレットを達成し、非理想な衝突条件下でのリグレットスケーリングにおいて顕著な改善を示している。

ABSTRACT

In this paper, we study the uncoordinated spectrum access problem using the multi-player multi-armed bandits framework. We consider a model where there is no central control and the users cannot communicate with each other. The environment may appear differently to different users, extit{i.e.}, the mean rewards as seen by different users for a particular channel may be different. Additionally, in case of a collision, we allow for the colliding users to receive non-zero rewards. With this setup, we present a policy that achieves expected regret of order $O(\log^{2+\delta}{T})$ for some $\delta > 0$.

研究の動機と目的

• ユーザー間での通信や協調が不可能な動的無線ネットワークにおける非協調的スペクトルアクセスを扱う。
• 同じチャネルに対してユーザーごとに異なる報酬分布をモデル化し、現実のチャネル認識の違いを反映する。
• ゼロ報酬衝突モデルよりも現実の干渉状況をよりよくモデル化するため、衝突時にも非ゼロの報酬を許容する。
• 協調が不可能で非対称な情報がある中でも期待リグレットを最小化する分散型方策を設計する。
• 現実的で困難な仮定のもとでの理論的リグレットバウンドを確立する。

提案手法

• 非協調的スペクトルアクセス問題を、ユーザー固有の報酬分布を持つマルチプレイヤー多腕バンディット（MAB）フレームワークとして定式化する。
• 各プレイヤーが局所的観測と報酬フィードバックに基づいて独立にチャネルを選択できる方策を導入する。
• 非ゼロの衝突報酬を考慮する学習メカニズムを組み込み、探索と活用のトレードオフを適切に調整する。
• チャネル品質の学習と有害な衝突の回避の間のトレードオフをバランスさせる、変更された探索戦略を採用する。
• 非対称な報酬モデルと非ゼロの衝突結果を想定した、対応する対数的リグレット解析を用いる。
• 与えられたモデル仮定のもとで、集中不等式と確率的優位性の議論を用いて理論的リグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 非対称なユーザー固有報酬を持つマルチプレイヤーMAB設定において、分散型方策がどのように低リグレットを達成できるか？
• RQ2 非ゼロの衝突報酬は、非協調的スペクトルアクセスプロトコルのリグレット性能にどのような影響を与えるか？
• RQ3 非対称かつ非ゼロの衝突報酬モデル下でも、サブ対数的リグレットスケーリングを維持できる学習方策を設計できるか？
• RQ4 協調や通信の欠如は、スペクトルアクセスアルゴリズムの収束性と性能にどのように影響するか？
• RQ5 これらの現実的な無線ネットワーク仮定のもとで、どのような理論的リグレットバウンドが達成可能か？

主な発見

• 提案された方策は、ある $ abla > 0$ に対して $O(\log^{2+\delta}{T})$ のオーダーの期待リグレットを達成し、単純な方策よりも顕著な改善を示す。
• 同じチャネルに対してユーザーが異なる平均報酬を観測する状況でも、リグレットバウンドは成立し、現実の非対称なチャネル認識を反映している。
• 非ゼロの衝突報酬が明示的にモデル化され、学習方策に統合されており、性能の劣化を来さない。
• ユーザー間の協調や通信なしに動作し、分散性を維持している。
• 理論的分析により、リグレットが時間とともにゆっくりと増加することが確認され、限られた情報のもとでも効果的な学習が可能であることが示された。
• 結果として、非対称かつ非ゼロの衝突条件下でもサブ対数的リグレットが達成可能であることが示され、従来の性能限界に関する仮定に挑戦するものである。