[論文レビュー] Deep Reinforcement Learning Based Dynamic Trajectory Control for UAV-assisted Mobile Edge Computing

Liang Wang, Kezhi Wang+4 more|arXiv (Cornell University)|Nov 10, 2019

UAV Applications and Optimization参考文献 44被引用数 16

ひとこと要約

本稿では、UAV支援型モバイルエッジコンピューティングを対象として、深層強化学習に基づくトラジェクトリ制御アルゴリズム（RAT）を提案する。RATは、ユーザーの接続先選定、リソース割り当て、UAVの移動経路を同時に最適化することで、全UEのエネルギー消費を最小化する。凸最適化に基づくCATとは異なり、RATは初期点に敏感ではなく、より高速に収束し、優れた性能を示すリアルタイムで適応可能な意思決定を可能にし、2次元および3次元シナリオにおけるシミュレーションで検証された。

ABSTRACT

In this paper, we consider a platform of flying mobile edge computing (F-MEC), where unmanned aerial vehicles (UAVs) serve as equipment providing computation resource, and they enable task offloading from user equipment (UE). We aim to minimize energy consumption of all the UEs via optimizing the user association, resource allocation and the trajectory of UAVs. To this end, we first propose a Convex optimizAtion based Trajectory control algorithm (CAT), which solves the problem in an iterative way by using block coordinate descent (BCD) method. Then, to make the real-time decision while taking into account the dynamics of the environment (i.e., UAV may take off from different locations), we propose a deep Reinforcement leArning based Trajectory control algorithm (RAT). In RAT, we apply the Prioritized Experience Replay (PER) to improve the convergence of the training procedure. Different from the convex optimization based algorithm which may be susceptible to the initial points and requires iterations, RAT can be adapted to any taking off points of the UAVs and can obtain the solution more rapidly than CAT once training process has been completed. Simulation results show that the proposed CAT and RAT achieve the similar performance and both outperform traditional algorithms.

研究の動機と目的

• 動的で連続的な意思決定変数を伴う、UAV支援型モバイルエッジコンピューティング（F-MEC）における長期的エネルギー消費の最小化という課題に対処する。
• 初期値に敏感で反復処理の負荷が大きい従来の凸最適化手法の限界を克服し、リアルタイムで適応可能な制御を可能にする。
• ユーザー接続、リソース割り当て、トラジェクトリ制御を統合最適化する多UAVシステム向けのスケーラブルなソリューションを設計する。
• 再トレーニングを必要とせずに、任意のUAV離陸位置から迅速かつ一般化可能な意思決定を実現し、柔軟性と展開の適応性を向上させる。
• 従来手法およびヒューリスティックベースライン手法と比較して、エネルギー効率および収束速度の面で提案手法の優位性を実証する。

提案手法

• ブロック座標降下（BCD）を用いた凸最適化ベースのトラジェクトリ制御（CAT）アルゴリズムを提案し、UAVの移動経路、ユーザー接続、リソース割り当てを反復的に最適化する。
• 2つのディープQネットワーク（DQN）を用いた深層強化学習ベースのトラジェクトリ制御（RAT）フレームワークを開発する。アクター網は行動選択（方向と距離）を、クリティック網は価値評価を担当する。
• UAVの利用可能性とチャネル状態に基づき、動的にユーザーを割り当ててリソースを割り当てる低複雑度のマッチングアルゴリズムを統合する。
• 優先順位付き経験再生（PER）を採用し、高インパクトな経験に注目することで、学習の収束を加速する。
• 全UEの総合的エネルギー消費を強化学習の報酬信号として定義し、ポリシー学習をガイドする。
• UAVの動的特性（高度変更、空間移動）を反映する3次元環境でRATを訓練し、実世界の展開制約を再現する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習フレームワークは、動的で多UAVのF-MEC環境において、UAVのトラジェクトリ、ユーザー接続、リソース割り当てを効果的に最適化できるか？
• RQ2 提案されたRATアルゴリズムは、凸最適化ベースのCATおよびヒューリスティックベースライン手法と比較して、エネルギー消費と収束速度の面でどの程度優れているか？
• RQ3 再トレーニングを伴わず、異なるUAV離陸位置に対してもRATはどの程度一般化可能か？
• RQ4 3次元トラジェクトリモデルに高度制御を組み込むことで、システム性能およびエネルギー効率にどのような影響を与えるか？
• RQ5 UAV数の増加が、提案フレームワークにおけるUE全体のエネルギー消費に及ぼす影響は何か？

主な発見

• RATは、全評価アルゴリズムの中で最も低い総合的エネルギー消費を達成し、すべてのテストシナリオでCAT、CM、RM、LEを一貫して上回った。
• 2機のUAVを含む3次元シナリオにおいて、RATはトレーニング後、UEのエネルギー消費を約350 Jにまで低減したのに対し、学習開始時では600–700 Jであった。
• UAV数が増加するにつれて、全アルゴリズムでUEの総合的エネルギー消費が低下したが、RATは依然として最も優れた性能差を維持した。
• RATは優れた適応性を示し、UAVの初期離陸位置にかかわらず高速な推論と安定した性能を達成した。これに対してCATは初期値に敏感であった。
• 3次元トラジェクトリの結果から、UAVは当初上昇してカバレッジを拡大し、その後複数のUEを効果的にサービスするために動的に再配置された。これはデータレートとサービス範囲のバランスを取ったものであった。
• CM（一定高度）およびRM（ランダム移動）と比較して、RATはUAVのエネルギー消費を10%以上、UEのエネルギー消費を平均20%以上削減した。