[論文レビュー] 5G Network on Wings: A Deep Reinforcement Learning Approach to the UAV-based Integrated Access and Backhaul

Hongyi Zhang, Zhiqiang Qi+4 more|arXiv (Cornell University)|Feb 4, 2022

UAV Applications and Optimization被引用数 6

ひとこと要約

本稿では、統合アクセスおよびバックホール（IAB）技術を用いて、災害時におけるミッションクリティカル（MC）な状況下で複数のUAVベースステーション（UAV-BS）の3次元配置を自律的最適化する分散型ディープ強化学習（DecRL）アルゴリズム、DecRL-AE&VASを提案する。適応的探索と価値ベースの行動選択を組み合わせることで、ユーザー移動に応じてUAV-BSが動的に位置を調整し、高いユーザースループットと低い切断率を維持できる。性能はグローバル最適解の5–6%以内に収束する。

ABSTRACT

Fast and reliable wireless communication has become a critical demand in human life. In the case of mission-critical (MC) scenarios, for instance, when natural disasters strike, providing ubiquitous connectivity becomes challenging by using traditional wireless networks. In this context, unmanned aerial vehicle (UAV) based aerial networks offer a promising alternative for fast, flexible, and reliable wireless communications. Due to unique characteristics such as mobility, flexible deployment, and rapid reconfiguration, drones can readily change location dynamically to provide on-demand communications to users on the ground in emergency scenarios. As a result, the usage of UAV base stations (UAV-BSs) has been considered an appropriate approach for providing rapid connection in MC scenarios. In this paper, we study how to control multiple UAV-BSs in both static and dynamic environments. We use a system-level simulator to model an MC scenario in which a macro BS of a cellular network is out of service and multiple UAV-BSs are deployed using integrated access and backhaul (IAB) technology to provide coverage for users in the disaster area. With the data collected from the system-level simulation, a deep reinforcement learning algorithm is developed to jointly optimize the three-dimensional placement of these multiple UAV-BSs, which adapt their 3-D locations to the on-ground user movement. The evaluation results show that the proposed algorithm can support the autonomous navigation of the UAV-BSs to meet the MC service requirements in terms of user throughput and drop rate.

研究の動機と目的

• 従来の基地局が故障する災害時において、ミッションクリティカルなユーザーの信頼性の高い高スループット接続を維持する課題に対処すること。
• 動的なユーザー移動に起因する環境において、3次元UAV-BS配置とバックホールリンク管理を統合最適化すること。
• 中央集権的制御なしに自律的航行を可能にするスケーラブルで分散型の強化学習フレームワークを構築すること。
• UAV-BSが変化するユーザー分布およびネットワーク状態に自己適応可能となることで、緊急時におけるシステムのレジリエンスとサービス品質を向上させること。

提案手法

• 5G NRをベースにしたミッションクリティカルなシナリオをモデル化するシステムレベルシミュレータを構築し、損傷を受けるマクロ基地局と複数のUAV-BSを統合アクセスおよびバックホール（IAB）技術を用いて実装する。
• 適応的探索と価値ベースの行動選択戦略を統合した、新規の分散型ディープ強化学習（DecRL）アルゴリズム、DecRL-AE&VASを提案する。
• サンプル効率の向上とUAV-BSエージェント間の知識移転を可能にするために、共有の経験リプレイバッファとモデル共有メカニズムを採用する。
• 状態空間にはユーザー位置、スループット、切断率が含まれる。行動空間は3次元UAV-BS配置（x, y, z）を制御するもので、報酬関数は6つの性能指標の重み付き和である。
• Q値推定と行動選択のガイドラインとして、ダブルデュエルDQNアーキテクチャを採用し、学習の安定性と収束性を向上させる。
• 分散型意思決定によりマルチエージェント連携を実現し、リアルタイムの動的環境における多数のUAV-BSのスケーラブルな展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 動的でミッションクリティカルな環境下で、複数のUAV-BSをどのように自律的かつ効率的に再配置すれば、高いユーザースループットと低い切断率を維持できるか？
• RQ2 ユーザー移動を伴う状況下で、分散型強化学習アプローチが、集中型またはベースラインRLモデルを上回る性能をどの程度達成できるか？
• RQ3 変化する環境下で、提案された適応的探索と価値ベースの行動選択戦略は、学習効率と収束速度の向上にどの程度有効であるか？
• RQ4 過去の経験を再利用することで、DecRL-AE&VASアルゴリズムは最小限の訓練イテレーションで近似的最適性能を達成できるか？
• RQ5 UAV-BSの展開が、UAVなしまたは非最適な設定の状況と比較して、システム性能にどのような影響を与えるか？

主な発見

• DecRL-AE&VASアルゴリズムは、各検証フェーズでグローバル最良解の5–6%以内の報酬値を達成し、近似的最適性能を示した。
• マクロ基地局の故障後、3つのUAV-BSを展開することで、UAV-BSなしの状況と比較してシステム性能が約80%向上した。特にダウンリンクおよびアップリンクスループットと切断率の面で顕著な改善が見られた。
• 提案手法は、最適解と比較して10 Mbpsのユーザースループットと2–3%の低切断率を達成し、性能の一貫性が非常に高いことを示した。
• 過去の経験を再利用し、価値ベースの行動選択を採用することで、アルゴリズムは必要な訓練イテレーション数を削減し、学習効率を向上させた。
• 分散アーキテクチャにより、中央集権的制御なしに多数のUAV-BSのスケーラブルな展開が可能となり、産業応用に適したインフラを実現した。
• 3つのUAV-BSがMCユーザーをサービス提供した場合、空間的分布の改善と近接性の向上により、単一のマクロ基地局に比べてUL 5%スループットが向上した。