[論文レビュー] Decentralized Learning for Channel Allocation in IoT Networks over Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game

Wenbo Wang, Amir Leshem+2 more|arXiv (Cornell University)|Mar 30, 2020

Advanced Bandit Algorithms Research参考文献 42被引用数 18

ひとこと要約

本稿は、非承認無線IoTネットワークにおけるチャネル割り当て問題を文脈的マルチプレーヤー多腕バンディットゲームとしてモデル化し、分散型で3段階の試行錯誤学習アルゴリズムを提案する。この手法は、明示的な調整なしに、局所的な衝突フィードバックと文脈に配慮した学習を活用することで、非線形（多対数的）のレグレットを達成し、社会的最適なチャネル割り当てに収束する。動的で干渉に弱い環境において、効率性とスケーラビリティのバランスを図る。

ABSTRACT

We study a decentralized channel allocation problem in an ad-hoc Internet of Things network underlaying on the spectrum licensed to a primary cellular network. In the considered network, the impoverished channel sensing/probing capability and computational resource on the IoT devices make them difficult to acquire the detailed Channel State Information (CSI) for the shared multiple channels. In practice, the unknown patterns of the primary users' transmission activities and the time-varying CSI (e.g., due to small-scale fading or device mobility) also cause stochastic changes in the channel quality. Decentralized IoT links are thus expected to learn channel conditions online based on partial observations, while acquiring no information about the channels that they are not operating on. They also have to reach an efficient, collision-free solution of channel allocation with limited coordination. Our study maps this problem into a contextual multi-player, multi-armed bandit game, and proposes a purely decentralized, three-stage policy learning algorithm through trial-and-error. Theoretical analyses shows that the proposed scheme guarantees the IoT links to jointly converge to the social optimal channel allocation with a sub-linear (i.e., polylogarithmic) regret with respect to the operational time. Simulations demonstrate that it strikes a good balance between efficiency and network scalability when compared with the other state-of-the-art decentralized bandit algorithms.

研究の動機と目的

• 許可されたセルラー帯域を下位に利用するアドホックなIoTネットワークにおいて、センシング能力や計算能力に制限がある状況下で、分散型で効率的なチャネル割り当てを実現すること。
• グローバルなチャネル状態情報や未使用チャネルの知識なしに、部分的な観測と局所的フィードバックのみを用いて、IoTデバイスがリアルタイムで最適なチャネル関連付けを学習できること。
• 総ネットワークスループットを最大化する社会的最適なパフォーマンスを達成するとともに、衝突とチャネル切り替えを最小限に抑えること。時間変動する干渉環境下で安定した性能を発揮すること。
• インfraストラクチャが存在しない、電力制限のあるIoT展開に適したスケーラブルで軽量なソリューションを設計すること。

提案手法

• IoTデバイスをプレーヤー、チャネルをアームとして、チャネル状態とプライマリユーザーの活動（文脈）に依存する報酬を有する文脈的マルチプレーヤー多腕バンディット（MP-MAB）ゲームとしてチャネル割り当て問題をモデル化する。
• 3段階のエポックベースのポリシー学習フレームワークを導入：(1) 試行錯誤によるチャネル品質の探索、(2) 分散型ポリシー学習のための中間非協力ゲーム形成、(3) 最小限の調整を伴うポリシーの実行。
• 受信デバイスからの局所的フィードバックを用いて、リンク間の衝突を検出することで、明示的な信号伝送なしにチャネル品質を推定し、戦略を調整可能にする。
• アームの価値（チャネル品質）がプライマリユーザーの存在と活動状態に応じて動的に変化する文脈に配慮した報酬モデルを採用する。
• 時間変動する干渉や fading に適応するため、摂動に基づく学習フェーズを導入し、ポリシーの探索範囲を拡大する。
• 理論的分析により、M人のプレーヤーが時間枠Tの間に、O(M log^{1+δ}_2 T)（δ > 0）のレグレットで社会的最適性に収束することが証明されている。

実験結果

リサーチクエスチョン

• RQ1 完全に分散型で軽量なアルゴリズムが、調整やグローバルなチャネル状態情報なしに、非承認IoTネットワークで社会的最適なチャネル割り当てを達成できるか？
• RQ2 リソース制限により同時にすべてのチャネルをセンシングまたは推定できない状況下で、IoTデバイスがリアルタイムに最適なチャネル関連付けを学習する方法は何か？
• RQ3 プライマリユーザーの活動状態と時間変動するチャネル状態が、マルチチャネルIoTネットワークにおける分散型学習アルゴリズムのパフォーマンスに与える影響は何か？
• RQ4 文脈に配慮した学習は、非文脈的MP-MABアルゴリズムと比較して、レグレット、衝突、スケーラビリティの観点でどの程度パフォーマンスを向上させるか？
• RQ5 インfraストラクチャが欠如している状況下でも、IoTデバイス数の増加に伴い、提案アルゴリズムが高い効率性とスケーラビリティを維持できるか？

主な発見

• シミュレーションにおいて、比較対象のすべてのアルゴリズム（MC、SOC、GoT）と比較して、平均的な正規化レートの合計が最も高く、時間経過とともに優れたネットワーク効率を示した。
• 頻繁なポリシー探索のためやや高い衝突数を示したが、GoTと比較して収束が速く、長いポリシー学習フェーズのため過剰な衝突に苦しむGoTとは対照的であった。
• 非文脈的アルゴリズム（MC、SOC）と比較して、チャネル切り替えの頻度が低く、異なる文脈においてもポリシーの一貫性が高いため、安定性と適応性が向上した。
• 大規模ネットワーク（最大30ノード）においても、提案アルゴリズムはMCおよびSOCを上回る性能を維持し、延長された学習フェーズに起因する衝突の増加は管理可能であった。
• 理論的分析により、レグレットがO(M log^{1+δ}_2 T)の非線形に増加することが確認され、アルゴリズムの長期的効率性と社会的最適性への収束を裏付けた。
• ネットワークサイズの増大に対しても、アルゴリズムは良好にスケーリングし、特にGoTが長い学習フェーズと大きな補助状態空間のためパフォーマンスが低下する大規模ネットワークにおいて、顕著に優れた性能を発揮した。