[論文レビュー] Multi-Agent Reinforcement Learning Based Resource Allocation for UAV Networks

Jingjing Cui, Yuanwei Liu+1 more|arXiv (Cornell University)|Oct 24, 2018

UAV Applications and Optimization参考文献 34被引用数 17

ひとこと要約

本稿では、無人航空機（UAV）ネットワークにおける動的リソース割り当てのためのマルチエージェント強化学習（MARL）フレームワークを提案する。各UAVは、分散型Q学習手法を用いて、独立にユーザー、電力レベル、サブチャンネルを選択する。本手法は、最小限のUAV間通信で近似的最適な性能を達成し、確率的かつ不確実な環境において性能向上とオーバーヘッドのバランスをとる。

ABSTRACT

Unmanned aerial vehicles (UAVs) are capable of serving as aerial base stations (BSs) for providing both cost-effective and on-demand wireless communications. This article investigates dynamic resource allocation of multiple UAVs enabled communication networks with the goal of maximizing long-term rewards. More particularly, each UAV communicates with a ground user by automatically selecting its communicating users, power levels and subchannels without any information exchange among UAVs. To model the uncertainty of environments, we formulate the long-term resource allocation problem as a stochastic game for maximizing the expected rewards, where each UAV becomes a learning agent and each resource allocation solution corresponds to an action taken by the UAVs. Afterwards, we develop a multi-agent reinforcement learning (MARL) framework that each agent discovers its best strategy according to its local observations using learning. More specifically, we propose an agent-independent method, for which all agents conduct a decision algorithm independently but share a common structure based on Q-learning. Finally, simulation results reveal that: 1) appropriate parameters for exploitation and exploration are capable of enhancing the performance of the proposed MARL based resource allocation algorithm; 2) the proposed MARL algorithm provides acceptable performance compared to the case with complete information exchanges among UAVs. By doing so, it strikes a good tradeoff between performance gains and information exchange overheads.

研究の動機と目的

• UAV間の情報交換を最小限に抑えて、複数UAVネットワークにおける動的リソース割り当てを解決すること。
• リソース割り当て問題を確率的ゲームとしてモデル化し、長期的報酬を最大化すること。
• 各UAVが局所的観測に基づいて最適戦略を学習できる分散型MARLアルゴリズムを開発すること。
• 動的UAVネットワークにおける性能と通信オーバーヘッドのトレードオフを評価すること。

提案手法

• 各UAVが独立した学習エージェントとして機能する確率的ゲームとしてリソース割り当て問題を定式化する。
• 共有アーキテクチャを持つが独立した意思決定を行う、エージェントに依存しないMARL手法を採用する。
• 状態遷移、報酬、割引率δを組み込んだQ関数更新ルールを用い、長期的価値をモデル化する。
• 収縮写像理論を適用して、Q値関数が最適解に収束することを証明する。
• 分散VAR（分散）が有界で、最適方策にほとんど確実に収束することを保証する学習更新ルールを導入する。
• 環境の不確実性およびUAVネットワークにおける非定常性に対処するため、確率的近似フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 完全な情報交換なしに、分散型MARLアプローチが複数UAVネットワークで近似的最適なリソース割り当てを達成できるか？
• RQ2 探索と活用のトレードオフが、MARLベースのリソース割り当てアルゴリズムの性能にどのように影響するか？
• RQ3 提案された分散型MARLと、完全な情報交換を持つ集中型手法との間の性能ギャップはどの程度か？
• RQ4 環境の不確実性下でも、提案されたMARLフレームワークが最適方策に収束するか？
• RQ5 動的UAVネットワークにおいて、アルゴリズムは性能向上と通信オーバーヘッドのバランスをどのようにとるか？

主な発見

• 探索と活用のパラメータの適切なチューニングが、提案されたMARLアルゴリズムの性能を顕著に向上させる。
• MARLベースのアプローチは、完全な情報交換を持つ集中型手法とほぼ同等の性能を達成する。
• アルゴリズムは性能と通信オーバーヘッドの良好なトレードオフを実現しており、リアルタイムUAVネットワークに適している。
• 理論的分析により、提案された学習ルール下でQ値関数が最適解にほとんど確実に収束することが確認された。
• 学習更新の分散が有界であるため、確率的環境でも安定かつ信頼性のある収束が保証される。
• Q更新演算子の収縮写像性により、最適方策への収束が保証される。