[論文レビュー] RL-Based User Association and Resource Allocation for Multi-UAV enabled MEC

Liang Wang, Pei-Qiu Huang+5 more|arXiv (Cornell University)|Apr 8, 2019

UAV Applications and Optimization参考文献 12被引用数 6

ひとこと要約

本稿では、全エネルギー消費を最小限に抑えるために、マルチUAVを活用するモバイルエッジコンピューティング（MEC）システムにおける強化学習ベースのユーザ接続およびリソース割り当て（RLAA）アルゴリズムを提案する。ジョイントユーザ接続とリソース割り当てを混合整数非線形計画法（MINLP）問題として定式化し、深層Qネットワークを用いて最適なオフロード意思決定とリソース割り当てを学習することで、小スケールなシナリオではほぼ最適な性能を達成し、大スケールな展開においてはベースライン手法と比較して顕著なエネルギー節約効果を示した。

ABSTRACT

In this paper, multi-unmanned aerial vehicle (UAV) enabled mobile edge computing (MEC), i.e., UAVE is studied, where several UAVs are deployed as flying MEC platform to provide computing resource to ground user equipments (UEs). Compared to the traditional fixed location MEC, UAV enabled MEC (i.e., UAVE) is particular useful in case of temporary events, emergency situations and on-demand services, due to its high flexibility, low cost and easy deployment features. However, operation of UAVE faces several challenges, two of which are how to achieve both 1) the association between multiple UEs and UAVs and 2) the resource allocation from UAVs to UEs, while minimizing the energy consumption for all the UEs. To address this, we formulate the above problem into a mixed integer nonlinear programming (MINLP), which is difficult to be solved in general, especially in the large-scale scenario. We then propose a Reinforcement Learning (RL)-based user Association and resource Allocation (RLAA) algorithm to tackle this problem efficiently and effectively. Numerical results show that the proposed RLAA can achieve the optimal performance with comparison to the exhaustive search in small scale, and have considerable performance gain over other typical algorithms in large-scale cases.

研究の動機と目的

• UAVが計算集約的なタスクを実行する地上のUEを支援するマルチUAVを活用するMECシステムにおいて、効率的なユーザ接続とリソース割り当てを実現すること。
• 全UEの総エネルギー消費を最小限に抑えつつ、サービス品質（QoS）制約を満たすこと。
• 大スケールなシナリオにおける混合整数非線形計画法（MINLP）定式化の計算不能性を克服すること。
• リアルタイムの状態に応じてUEをUAVに動的に割り当て、無線および計算リソースを適応的に割り当てるスケーラブルで柔軟なソリューションを開発すること。
• 小スケールおよび大スケールの両設定において、全探索法および従来のヒューリスティクスと比較して、提案されたRLAAアルゴリズムの性能を評価すること。

提案手法

• 全エネルギー消費を最小限に抑えるために、ジョイントユーザ接続とリソース割り当て問題を混合整数非線形計画法（MINLP）問題として定式化する。
• 状態にUEの位置、UAVの位置、タスク要件、チャネル状態を含むマルコフ決定過程（MDP）としてシステムをモデル化する。
• 探索と経験リプレイを用いて、最適な行動（UAV選択およびタイムスロット割り当て）を学習する深層Qネットワーク（DQN）ベースの強化学習エージェントを設計する。
• 高いエネルギー消費、タスク違反、リソース過負荷をペナルティとする密な報酬関数を定義し、エネルギー効率的で実行可能なかつての意思決定を促進する。
• ε-greedy探索を採用し、学習中の探索と活用のバランスを維持するための減衰スケジュールを適用する。
• 学習の安定化と収束性の向上を図るため、リプレイバッファとターゲットネットワークを用いてDQNエージェントを訓練する。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースのアプローチは、マルチUAV MECシステムにおけるユーザ接続およびリソース割り当てでほぼ最適な性能を達成できるか？
• RQ2 小スケールなシナリオにおいて、提案されたRLAAアルゴリズムは全探索法と比較してどのように性能を発揮するか？
• RQ3 大スケールな展開において、RLAAは従来のヒューリスティクス（例：グリーディ、ランダム、ローカル実行）と比較してスケーラビリティと性能向上をどの程度達成するか？
• RQ4 RLAAアルゴリズムは、QoSおよびリソース制約を満たしつつ、全エネルギー消費をどの程度削減できるか？
• RQ5 UEの分布とUAVの移動性の変動に対して、RLAAポリシーはどの程度の耐性を示すか？

主な発見

• 小スケールなシナリオ（3〜7UE）では、RLAAアルゴリズムは全探索法と同一の最小エネルギー消費を達成しており、低複雑度環境下での最適性を裏付けている。
• 大スケールなシナリオ（100〜1000UE）では、RLAAはローカル実行（LE）、ランダムオフロード（RO）、グリーディオフロード（GO）を著しく上回り、全エネルギー消費を顕著に削減した。
• 3UAVと1000UEの設定下でも、RLAAはGO、RO、LEよりも低いエネルギー消費を達成し、優れたスケーラビリティと適応性を示した。
• UAV数が5に増加しても、RLAAはすべてのベースラインを上回り、全UEにわたり顕著なエネルギー節約を実現した。
• 高密度シナリオでは、最適なUAV選択とリソース割り当てが極めて重要となるため、RLAAの性能向上は特に顕著であった。
• DQNベースのRLAAポリシーは安定して収束し、異なるUE分布およびUAV設定においても良好に一般化された。これは、耐性と適応性の高さを示している。