[論文レビュー] Adaptive Height Optimisation for Cellular-Connected UAVs using Reinforcement Learning

Erika Fonseca, Boris Galkin+3 more|arXiv (Cornell University)|Jul 27, 2020

UAV Applications and Optimization参考文献 20被引用数 4

ひとこと要約

本論文は、スペクトル効率とスループットを最大化するために、セルラー接続付きの無人航空機（UAV）の飛行高度を動的に最適化するための深層強化学習（DRL）ベースの手法を提案する。Deep Q-Networks（DQN）を用いて、UAVはチャネル状態に応じてリアルタイムで高度を適応させる学習を実施し、都市部の実環境において品質保証（QoS）が最大41%向上した。性能向上の程度は、基地局の密度や建物高の分布に依存する。

ABSTRACT

Providing reliable connectivity to cellular-connected UAV can be very challenging; their performance highly depends on the nature of the surrounding environment, such as density and heights of the ground BSs. On the other hand, tall buildings might block undesired interference signals from ground BSs, thereby improving the connectivity between the UAVs and their serving BSs. To address the connectivity of UAVs in such environments, this paper proposes a RL algorithm to dynamically optimise the height of a UAV as it moves through the environment, with the goal of increasing the throughput or spectrum efficiency that it experiences. The proposed solution is evaluated in two settings: using a series of generated environments where we vary the number of BS and building densities, and in a scenario using real-world data obtained from an experiment in Dublin, Ireland. Results show that our proposed RL-based solution improves UAVs QoS by 6% to 41%, depending on the scenario. We also conclude that, when flying at heights higher than the buildings, building density variation has no impact on UAV QoS. On the other hand, BS density can negatively impact UAV QoS, with higher numbers of BSs generating more interference and deteriorating UAV performance.

研究の動機と目的

• 都市部の高干渉・遮蔽環境において、UAVの信頼性の高いセルラー接続を維持する課題に対処すること。
• インfraストラクチャーの再設計に依存せずに、スペクトル効率とスループットを向上させるための動的で適応的な高度制御メカニズムを開発すること。
• 提案されたRLベースのソリューションを、合成環境およびアイルランドダブリンからの実世界測定データの両方で評価すること。
• 基地局の密度と建物高がUAV接続性および最適飛行高度に与える影響を調査すること。
• 実世界の実験データを用いたUAV高度最適化ポリシーの学習および検証の実現可能性を示すこと。

提案手法

• UAVの高度最適化には、長期的なスペクトル効率を最大化することを目的に訓練されたDeep Q-Network（DQN）エージェントが用いられる。
• 状態空間には、履歴SINR値、現在および直前の高度、行動、報酬信号が含まれる。
• 行動空間は、離散的な高度調整（例：上昇、下降、維持）から構成される。
• 報酬関数は、スペクトル効率とスループットの向上を反映するように設計されており、不安定性や干渉に対するペナルティが含まれる。
• 学習の安定化のため、経験再生とターゲットネットワークを用いてDQNモデルを訓練する。
• データ制限のため、実世界データに適応させる際には、スペクトル効率の代わりに測定されたスループットを報酬信号として使用し、隣接ノードのセンシングを省略する。

実験結果

リサーチクエスチョン

• RQ1 基地局の密度は、都市部環境におけるUAVの最適飛行高度にどのように影響するか？
• RQ2 建物の密度は、UAVの接続性および高度適応の有効性にどのように影響するか？
• RQ3 DRLベースのアプローチは、実世界の都市環境において、動的にUAVの高度を最適化し、スペクトル効率とスループットを向上させることができるか？
• RQ4 建物の視線（LoS）を超えて飛行することで、干渉とQoSにどのような影響が生じるか？
• RQ5 RLエージェントの性能は、ランダムウォークや固定高度飛行といったベースライン戦略と比べてどうなるか？

主な発見

• 提案されたDRLベースのアプローチにより、環境条件に応じて、さまざまなシナリオにおいてUAVの品質保証（QoS）が6%から41%向上した。
• 高高度飛行（建物の屋上を上回る）では、建物密度がUAVのQoSに顕著な影響を及ぼさない。これは、視線（LoS）リンクが支配的であるためである。
• 基地局の密度が高くなると干渉が増加し、UAVの性能に悪影響を及ぼし、スペクトル効率が低下する。
• RLエージェントは、基地局密度の上昇に応じて高度を上昇させる学習を実施し、ベースライン手法よりも優れたスペクトル効率を達成した。
• 不要な高度調整を回避し、毎ステップで移動するのではなく、知的なエネルギー効率の高い意思決定を行う。
• ダブリンの実世界データで訓練されたモデルは、良好に一般化され、実地測定値を用いたRLベースのUAV最適化の実現可能性を示した。