[論文レビュー] Path Planning for UAV-Mounted Mobile Edge Computing with Deep Reinforcement Learning

Q. Liu, Long Shi+4 more|arXiv (Cornell University)|Jan 28, 2020

UAV Applications and Optimization参考文献 18被引用数 9

ひとこと要約

本論文は、品質保証（QoS）を伴う動的かつリアルタイムなモバイルユーザーのサービスを提供するための、UAV搭載モバイルエッジコンピューティング向けの深層強化学習に基づくパスプランニングアルゴリズムを提案する。QoSに配慮したダブルディープQネットワーク（DDQN）と新規のイプシロン-グリーディポリシーを用いることで、UAVは軌道とユーザー接続を最適化し、システム報酬を最大化するとともに、すべてのユーザーに対して99%のQoS満足度を達成する。これは、従来のDQNおよびQ学習手法と比較して収束性とスループットの両面で優れている。

ABSTRACT

In this letter, we study an unmanned aerial vehicle (UAV)-mounted mobile edge computing network, where the UAV executes computational tasks offloaded from mobile terminal users (TUs) and the motion of each TU follows a Gauss-Markov random model. To ensure the quality-of-service (QoS) of each TU, the UAV with limited energy dynamically plans its trajectory according to the locations of mobile TUs. Towards this end, we formulate the problem as a Markov decision process, wherein the UAV trajectory and UAV-TU association are modeled as the parameters to be optimized. To maximize the system reward and meet the QoS constraint, we develop a QoS-based action selection policy in the proposed algorithm based on double deep Q-network. Simulations show that the proposed algorithm converges more quickly and achieves a higher sum throughput than conventional algorithms.

研究の動機と目的

• 移動ユーザーを伴うモバイルエッジコンピューティングネットワークにおける動的UAV軌道計画の課題に対処すること。
• ユーザーの位置が時間とともに変化する中でも、各モバイルユーザーに対する品質保証（QoS）を確保すること。
• エネルギー制約とQoS制約の下で、UAVの軌道とユーザー接続を統合最適化すること。
• 移動ユーザーの移動性に起因する巨大な状態空間と行動空間に対応するスケーラブルなソリューションを開発すること。
• 従来の強化学習手法と比較して、収束速度とシステムスループットを向上させること。

提案手法

• UAVパスプランニング問題を、軌道とユーザー接続を制御変数とするマルコフ決定過程（MDP）として定式化する。
• 現実的なユーザー移動パターンを反映させるために、ユーザー移動性をガウス＝マルコフ確率モデル（GMRM）でモデル化する。
• QoS制約を優先するため、ダブルディープQネットワーク（DDQN）フレームワーク内にQoSベースのイプシロン-グリーディ探索ポリシーを提案する。
• タスクオフロードスループットとエネルギー消費をバランスさせるシステム報酬関数を用いる。
• 経験再生とターゲットネットワーク技術を用いて、DNNポリシーをエンドツーエンドで学習することで学習の安定性を向上させる。
• QoS制約を直接行動選択ポリシーに統合することで、各ユーザーに対する高い信頼性を確保する。

実験結果

リサーチクエスチョン

• RQ1 時間的に変化するユーザー位置を伴うモバイルエッジコンピューティングネットワークにおいて、UAVの軌道をどのように動的に最適化してモバイルユーザーを効果的に支援できるか？
• RQ2 移動ユーザーの移動性に起因する巨大な状態空間と行動空間を効果的に処理できる強化学習手法は何か？
• RQ3 個々のユーザーのQoS制約を学習ポリシーにどのように統合し、信頼性の高いサービスを実現できるか？
• RQ4 標準的なイプシロン-グリーディポリシーと比較して、QoSに配慮した探索戦略は、学習の収束性とシステム性能を向上させることができるか？
• RQ5 異なるユーザー移動速度やネットワーク環境下で、提案手法のスループット、収束速度、QoS保証の観点での性能はいかがなっているか？

主な発見

• シミュレーションにおいて、DQN、DQL、QLベースラインと比較して、提案手法が最高の平均報酬と最も速い収束速度を達成した。
• 全テストユーザー数と速度において、提案手法がエピソードごとのシステム合計スループットを最大にした。
• 低速ユーザー移動（例：1 m/s）では、提案手法がピーク合計スループットを達成し、静的状態に近い最適性能を示した。
• QoSベースのイプシロン-グリーディポリシーにより、各ユーザーに対して99%の保証率が達成され、従来のイプシロン-グリーディポリシーを著しく上回った。
• ユーザー速度の変動に対しても、提案手法は収束性を維持し、訓練時に見られなかった速度でも安定した性能を示した。
• 提案手法は、タブラ型Q学習（QL）およびDQLが、巨大な状態-行動空間のためユーザー数が増加すると（例：8000以上）失敗するスケーラビリティの問題を回避した。