[論文レビュー] Cellular-Connected UAVs over 5G: Deep Reinforcement Learning for Interference Management

Ursula Challita, Walid Saad+1 more|arXiv (Cornell University)|Jan 16, 2018

UAV Applications and Optimization参考文献 25被引用数 97

ひとこと要約

本論文は、干渉を考慮した経路計画とリソース管理を可能とする、エコー状態ネットワークに基づく深層強化学習フレームワークを提案し、ダイナミックゲームでSPNEを達成する。

ABSTRACT

In this paper, an interference-aware path planning scheme for a network of cellular-connected unmanned aerial vehicles (UAVs) is proposed. In particular, each UAV aims at achieving a tradeoff between maximizing energy efficiency and minimizing both wireless latency and the interference level caused on the ground network along its path. The problem is cast as a dynamic game among UAVs. To solve this game, a deep reinforcement learning algorithm, based on echo state network (ESN) cells, is proposed. The introduced deep ESN architecture is trained to allow each UAV to map each observation of the network state to an action, with the goal of minimizing a sequence of time-dependent utility functions. Each UAV uses ESN to learn its optimal path, transmission power level, and cell association vector at different locations along its path. The proposed algorithm is shown to reach a subgame perfect Nash equilibrium (SPNE) upon convergence. Moreover, an upper and lower bound for the altitude of the UAVs is derived thus reducing the computational complexity of the proposed algorithm. Simulation results show that the proposed scheme achieves better wireless latency per UAV and rate per ground user (UE) while requiring a number of steps that is comparable to a heuristic baseline that considers moving via the shortest distance towards the corresponding destinations. The results also show that the optimal altitude of the UAVs varies based on the ground network density and the UE data rate requirements and plays a vital role in minimizing the interference level on the ground UEs as well as the wireless transmission delay of the UAV.

研究の動機と目的

• セルラー接続UAVネットワークにおける干渉管理に対処する。
• エネルギー効率、遅延、および地上セル干渉のバランスを取るオンラインで適応的な経路計画を開発する。
• 問題をUAV間のダイナミックな非協力ゲームとして定式化する。
• 自律的なUAVが軌道に沿って最適な経路、電力、BS接続を学習できるようにする。
• SINRと遅延目標を確保しつつ計算複雑さを削減するための高度の境界を導出する。

提案手法

• UAVネットワークをプレイヤーとしてダイナミックな非協力ゲームとしてモデル化する。
• SPNE学習のために echo state network (ESN) セルを用いた深層強化学習アプローチを導入する。
• 観察、行動、報酬を定義し、UAVの軌道、電力、およびBS接続を結ぶ。
• 時系列依存性を捉え、ポリシーを学習するために多層の深層ESNを使用する。
• 行動空間を制約し効率を改善するためにUAV高度の解析的境界を導出する。
• エネルギー効率、遅延、地上干渉間のトレードオフを示すシミュレーション結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 セルラー接続UAVが地上UEへの干渉を最小化しつつ遅延要求を満たすように自律的に軌道を計画できるか？
• RQ2 深層ESNベースのRLフレームワークは多UAV干渉制限環境でサブゲーム完全ナッシュ均衡に収束できるか？
• RQ3 高度と3Dポジショニングはネットワーク性能と地上セルへの干渉にどのような影響を与えるか？
• RQ4 地上ネットワーク密度とUEデータレート要件が最適UAV高度と軌道に及ぼす影響は何か？

主な発見

• 提案された ESN ベースの RL フレームワークは収束時にサブゲーム完全ナッシュ均衡を達成する。
• シミュレーション結果は最短経路ベースラインと比較してUAVごとのワイヤレス遅延と地上ユーザあたりのレートの改善を示す。
• アルティチュードの上限・下限境界を導出し、アルゴリズムの計算複雑さを低減する。
• UAV高度は地上ネットワーク密度とUEデータレート要件に依存し、干渉と遅延を最小化する上で重要であることが示された。