[論文レビュー] Deep Reinforcement Learning for Unmanned Aerial Vehicle-Assisted Vehicular Networks

Ming Zhu, Xiao-Yang Liu+1 more|arXiv (Cornell University)|Jun 12, 2019

UAV Applications and Optimization参考文献 40被引用数 21

ひとこと要約

本稿では、UAV補助車両通信ネットワークにおけるUAVの3次元飛行軌道、電力制御、周波数割り当てを共同最適化するための深層強化学習フレームワークを提案する。本手法は、未知で変動するチャネル状態の環境において、適応的に学習することで、特に混雑した都市交差点において、ベースライン手法に比べ顕著なスループット向上を達成する。

ABSTRACT

Unmanned aerial vehicles (UAVs) are envisioned to complement the 5G communication infrastructure in future smart cities. Hot spots easily appear in road intersections, where effective communication among vehicles is challenging. UAVs may serve as relays with the advantages of low price, easy deployment, line-of-sight links, and flexible mobility. In this paper, we study a UAV-assisted vehicular network where the UAV jointly adjusts its transmission control (power and channel) and 3D flight to maximize the total throughput. First, we formulate a Markov decision process (MDP) problem by modeling the mobility of the UAV/vehicles and the state transitions. Secondly, we solve the target problem using a deep reinforcement learning method, namely, the deep deterministic policy gradient (DDPG), and propose three solutions with different control objectives. Deep reinforcement learning methods obtain the optimal policy through the interactions with the environment without knowing the environment variables. Considering that environment variables in our problem are unknown and unmeasurable, we choose a deep reinforcement learning method to solve it. Moreover, considering the energy consumption of 3D flight, we extend the proposed solutions to maximize the total throughput per unit energy. To encourage or discourage the UAV's mobility according to its prediction, the DDPG framework is modified, where the UAV adjusts its learning rate automatically. Thirdly, in a simplified model with small state space and action space, we verify the optimality of proposed algorithms. Comparing with two baseline schemes, we demonstrate the effectiveness of proposed algorithms in a realistic model.

研究の動機と目的

• UAV補助車両通信ネットワークにおける高 mobility 性と変動するチャネル状態を考慮した、合計下行スループットを最大化する課題に対処する。
• 5G現実環境においてしばしば入手不能または測定不能な正確なチャネル状態情報が必要となる従来の最適化手法の限界を克服する。
• UAVの3次元位置、送信電力、周波数チャネル割り当てを同時に最適化する統合制御戦略を設計する。
• 3次元飛行におけるエネルギー消費を考慮し、移動性とスペクトル効率のバランスを取るためにDDPGフレームワークを修正する。
• 動的車両到着と信号機制御の移動パターンを伴う現実的な交通シナリオで、提案手法を検証する。

提案手法

• UAV-車両間通信問題をマルコフ決定過程（MDP）として定式化し、UAVおよび車両の状態遷移を行動に基づいてモデル化する。
• 環境ダイナミクスの事前知識を必要とせず、UAVの3次元位置、電力、チャネル選択に対する連続的制御方策を学習するため、深層決定的方策勾配（DDPG）アルゴリズムを実装する。
• 予測された性能向上に基づき、UAV移動性を促進または抑制する適応的学習率を導入することで、DDPGフレームワークを変更する。
• スループット/単位エネルギーを組み込むことで、エネルギー効率を反映する報酬関数を拡張し、データレートと飛行エネルギーコストの両方の最適化を可能にする。
• 連続的アクション空間における学習の安定化を図るため、経験再生とターゲットネットワークを用いてDDPGエージェントを訓練する。
• 高性能サーバー上でDDPGネットワークを事前学習し、将来のエッジ展開に向け、軽量かつ低消費電力の推論ハードウェアを想定する。

実験結果

リサーチクエスチョン

• RQ1 未知のチャネルパラメータを有する動的で変動する車両通信ネットワークにおいて、深層強化学習が3次元UAV軌道、電力制御、チャネル割り当ての共同最適化を効果的に実現できるか。
• RQ2 3次元飛行エネルギー消費を組み込むことで、UAV補助通信における合計スループットとエネルギー効率のトレードオフにどのような影響が生じるか。
• RQ3 実際の都市交通シナリオにおいて、提案手法（DDPGベース）はCycleやGreedyといったベースライン手法に比べてどの程度の性能向上を達成するか。
• RQ4 車両密度や移動性の変化する環境において、UAVの適応的学習率メカニズムが収束性および性能に与える影響はいかなるものか。
• RQ5 固定高度または非移動戦略と比較して、UAVの移動性がスペクトル効率をどの程度向上させるか。

主な発見

• DDPGベースのアルゴリズムは、CycleやGreedyベースラインに比べ、特に動的車両到着が見られる混雑した状況で顕著に高い合計スループットを達成する。
• 車両到着確率λが0.3から0.6に上昇すると、より多くのアクティブな車両が存在するため合計スループットが上昇するが、λ=0.6で混雑によるサービス容量の限界に達し、飽和する。
• τ⁺=0.0012（高い移動性志向）では、τ⁺=0.001または0.0008よりも合計スループットが著しく高い。これは、エネルギーコストが許容可能な範囲で移動性を高めることでスペクトル効率が向上することを示している。
• τ⁺≤0.001では、さらなる移動性の向上がスループット向上に寄与しないため、性能の plateau に達していることが示唆される。
• UAVの飛行時間は、3次元飛行に割り当てられるエネルギーが高くなるに従い線形に増加する。最短飛行時間は、UAVが最も活発に動作する（高τ⁺）場合に発生し、最長飛行時間はUAVが不活性（低τ⁻）の場合に発生する。
• ニューラルネットワークは良好に学習されており、複数の図（例：図11、図14）における一貫したパフォーマンス形状から、安定的かつ汎用性のある方策学習が行われていることが裏付けられている。