[論文レビュー] Cooperative Multi-Agent Deep Reinforcement Learning for Reliable and Energy-Efficient Mobile Access via Multi-UAV Control

Chanyoung Park, Park, Soohyun+3 more|arXiv (Cornell University)|Oct 3, 2022

UAV Applications and Optimization被引用数 10

ひとこと要約

本論文は、60 GHz mmWaveネットワークにおけるマルチUAVベースステーション（UAV-BS）配置最適化のため、CommNetにインspiredされたアーキテクチャを用いた協調的マルチエージェント深層強化学習（MADRL）アルゴリズムを提案する。QoSに配慮した報酬関数とUAVエネルギー消費モデルを統合することで、完全なCommNetベースラインと比較して計算コストが214.2%低減され、接続性と耐障害性において既存手法を上回る信頼性の高い、エネルギー効率の良いモバイルアクセスを実現する。

ABSTRACT

This paper addresses a novel multi-agent deep reinforcement learning (MADRL)-based positioning algorithm for multiple unmanned aerial vehicles (UAVs) collaboration (i.e., UAVs work as mobile base stations). The primary objective of the proposed algorithm is to establish dependable mobile access networks for cellular vehicle-to-everything (C-V2X) communication, thereby facilitating the realization of high-quality intelligent transportation systems (ITS). The reliable mobile access services can be achieved in following two ways, i.e., i) energy-efficient UAV operation and ii) reliable wireless communication services. For energy-efficient UAV operation, the reward of our proposed MADRL algorithm contains the features for UAV energy consumption models in order to realize efficient operations. Furthermore, for reliable wireless communication services, the quality of service (QoS) requirements of individual users are considered as a part of rewards and 60GHz mmWave radio is used for mobile access. This paper considers the 60GHz mmWave access for utilizing the benefits of i) ultra-wide-bandwidth for multi-Gbps high-speed communications and ii) high-directional communications for spatial reuse that is obviously good for densely deployed users. Lastly, the comprehensive and data-intensive performance evaluation of the proposed MADRL-based algorithm for multi-UAV positioning is conducted in this paper. The results of these evaluations demonstrate that the proposed algorithm outperforms other existing algorithms.

研究の動機と目的

• インtelリジェントトランスポートエーションシステム（ITS）における車両対すべて（V2X）通信の信頼性とエネルギー効率の高いモバイルアクセスを、マルチUAVネットワークを用いて実現すること。
• 空中セルラーネットワークにおけるUAVエネルギー制約と動的移動に起因するQoS劣化の課題に対処すること。
• UAV-BSが障害や変化するユーザー需要に応じて適応的に再配置できるよう、協調的マルチエージェント強化学習フレームワークを設計すること。
• 超広帯域および高指向性の空間再利用を実現するため、60 GHz mmWave通信を活用すること。
• ハイブリッドDNN-CommNetアーキテクチャを用いることで、計算オーバーヘッドを最小限に抑えつつ高いサービス信頼性を達成すること。

提案手法

• 提案手法は、UAV-BS間の協調を可能にするため、通信ニューラルネットワーク（CommNet）に基づく集中学習分散実行（CTDE）フレームワークを採用する。
• 通信と計算効率のバランスを図るため、1つのCommNetベースのリーダーUAV-BSと3つのDNNベースのフォロワーUAV-BSを含むハイブリッドアーキテクチャを採用する。
• 報酬関数は2つの目的を統合している：個々のUEのQoS満足度とUAVエネルギー効率で、エネルギー消費関数を用いてモデル化される。
• 超広帯域および高指向性を活用するため、60 GHz mmWaveアクセスを採用する。
• 部分的に観測可能なマルコフ決定過程（POMDP）の定式化を用いて、マルチエージェント環境における部分的状態観測を処理する。
• 動的条件下（UAV-BSの故障やユーザー移動を含む）で、データ集約的なシミュレーションを多数実施して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 動的ユーザー移動や環境的擾乱が生じる状況下でも、マルチUAV-BSシステムをどのように協調的に制御すれば、V2X通信の信頼性を確保できるか？
• RQ2 マルチエージェント空中ベースステーション展開において、サービス信頼性とUAVエネルギー効率の最適なトレードオフは何か？
• RQ3 ハイブリッドDNN-CommNetアーキテクチャは、純粋なDNNまたはCommNetベースラインと比較して、計算コストと性能の面でどのように異なるか？
• RQ4 非エージェントUAV-BSの故障が発生した場合、MADRLベースのシステムはどれほど接続性とQoSを維持できるか？
• RQ5 60 GHz mmWave通信は、混雑した都市部のITSシナリオにおいて、空間再利用とスループットをどのように向上させるか？

主な発見

• 提案手法は、完全なCommNetベースライン（Comp2）と比較して、計算コストが214.2%低減されたが、サービス信頼性と報酬収束性能は優れている。
• DNNオンリーベースライン（Comp1）と比較すると、計算コストは249.5%高いが、接続性と耐障害性において顕著に優れた性能を示した。
• UAV-BSの故障に伴い、エージェントUAV-BSは動的に再配置され、被覆範囲のない領域をカバーする。特に、t=30からt=35の間に、故障した非エージェントUAV-BSの代わりに1つのエージェントが左に移動した。
• 故障する非エージェントUAV-BSが増えるに従い、UAV-BSは時間経過とともに高度を上昇させ、覆い範囲を拡大し、より多くのUEをサービス可能にする。これは、パスロスおよびカバレッジモデルと整合的である。
• 収束後、システムは安定した最適位置を維持し、予期しない故障や動的状況に対しても耐障害性を示した。
• 包括的なシミュレーションにより、提案されたMADRL/CommNetベースのアルゴリズムが、サービス品質、信頼性、エネルギー効率の面で既存手法を上回ることが確認された。