[論文レビュー] Multi-Agent Reinforcement Learning based Joint Cooperative Spectrum Sensing and Channel Access for Cognitive UAV Networks.

Weiheng Jiang, Wanxin Yu|arXiv (Cornell University)|Mar 15, 2021

Cognitive Radio Networks and Spectrum Sensing参考文献 44被引用数 5

ひとこと要約

本稿では、認知UAVネットワークにおける共同協力的スペクトラムセンシングとチャネルアクセスを目的としたマルチエージェント強化学習（MARL）フレームワークを提案する。重み付き報酬関数を用いてセンシングコストと送信効用のバランスをとる。IL-Q、IL-DQN、VC-EXHアルゴリズムは、動的で非定常な環境において高速な収束を達成し、スペクトラム利用効率を著しく向上させる。

ABSTRACT

Designing clustered unmanned aerial vehicle (UAV) communication networks based on cognitive radio (CR) and reinforcement learning can significantly improve the intelligence level of clustered UAV communication networks and the robustness of the system in a time-varying environment. Among them, designing smarter systems for spectrum sensing and access is a key research issue in CR. Therefore, we focus on the dynamic cooperative spectrum sensing and channel access in clustered cognitive UAV (CUAV) communication networks. Due to the lack of prior statistical information on the primary user (PU) channel occupancy state, we propose to use multi-agent reinforcement learning (MARL) to model CUAV spectrum competition and cooperative decision-making problem in this dynamic scenario, and a return function based on the weighted compound of sensing-transmission cost and utility is introduced to characterize the real-time rewards of multi-agent game. On this basis, a time slot multi-round revisit exhaustive search algorithm based on virtual controller (VC-EXH), a Q-learning algorithm based on independent learner (IL-Q) and a deep Q-learning algorithm based on independent learner (IL-DQN) are respectively proposed. Further, the information exchange overhead, execution complexity and convergence of the three algorithms are briefly analyzed. Through the numerical simulation analysis, all three algorithms can converge quickly, significantly improve system performance and increase the utilization of idle spectrum resources.

研究の動機と目的

• 主ユーザの活動に関する事前知識が限られた状況下でのクラスタ型認知UAVネットワークにおける動的スペクトラムアクセスの課題に対処すること。
• UAV間の自律的で協働的な意思決定を通じて、時間変動する無線環境におけるシステムの知能と耐障害性を向上させること。
• スペクトラムセンシングとアクセス意思決定におけるセンシングコストと送信効用のトレードオフを最適化すること。
• 情報交換のオーバーヘッドと実行複雑性を低減する、スケーラブルで収束性のある学習アルゴリズムを設計すること。
• 複数のUAVエージェント間での共同センシングとアクセス調整を通じて、空きスペクトラムリソースの利用を向上させること。

提案手法

• UAVを独立した学習者として行動させるマルチエージェント強化学習ゲームとして、スペクトラムセンシングとアクセス問題を定式化する。
• リアルタイムでのパフォーマンス向上を反映するために、センシングコストと送信効用を組み合わせた重み付き複合報酬関数を導入する。
• 仮想コントローラーを用いてエージェントの意思決定を調整する、タイムスロットマルチラウンド再訪問全探索アルゴリズム（VC-EXH）を提案する。
• 表形式のQ値学習を用いた分散型意思決定のためのインディペンデントQ学習（IL-Q）アルゴリズムを開発する。
• 高次元の状態空間を扱い、学習安定性を向上させるためにインディペンデント深層Qネットワーク（IL-DQN）を設計する。
• アルゴリズムの複雑性、収束速度、通信オーバーヘッドを分析し、スケーラビリティと実用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント強化学習は、動的で非定常な認知UAVネットワークにおいて、どのようにスペクトラムセンシングとアクセスを効果的に調整できるか？
• RQ2 協働的スペクトラムセンシングにおいて、センシングコストと送信効用のバランスを最適化する報酬関数の設計は何か？
• RQ3 IL-Q、IL-DQN、VC-EXHの各アルゴリズムは、収束速度、システム性能、通信オーバーヘッドの観点でどのように比較できるか？
• RQ4 事前統計的知識がなくても、MARLベースのアプローチは、スペクトラム利用を著しく向上させることができるか？
• RQ5 分散型UAVスペクトラムアクセスにおいて、アルゴリズムの複雑性、情報交換、収束性の間にはどのようなトレードオフが存在するか？

主な発見

• VC-EXH、IL-Q、IL-DQNの3つの提案アルゴリズムは、すべて動的スペクトラムアクセスのシナリオで高速な収束を達成する。
• MARLベースのアプローチにより、空きスペクトラムリソースの利用が向上し、システムパフォーマンスが著しく向上する。
• 重み付き複合報酬関数は、センシングコストと送信効用のバランスを効果的にとらえ、より優れたリアルタイム意思決定を実現する。
• IL-DQNは、表形式のIL-Qに比べて高次元状態空間における学習安定性が向上している。
• VC-EXHは、完全な通信を伴わずに仮想コントローラーを用いてエージェント行動を調整することで、情報交換のオーバーヘッドを低減する。
• これらのアルゴリズムは、時間変動する無線環境においてシステム遅延を低減し、耐障害性を向上させる。