[論文レビュー] Multi-UAV Mobile Edge Computing and Path Planning Platform based on Reinforcement Learning

Huan Chang, Yi‐Cheng Chen+2 more|arXiv (Cornell University)|Feb 3, 2021

UAV Applications and Optimization参考文献 16被引用数 5

ひとこと要約

本稿では、品質保証（QoS）、リスク回避、エネルギー効率を共同最適化するため、深層強化学習を用いたマルチUAVモバイルエッジコンピューティングおよび経路計画プラットフォームを提案する。シグモイド型の需要関数と、幾何的距離、リスク、ユーザー需要を統合した報酬行列を統合することで、障害物が多く動的変化する環境においても、A*やグリーディベースラインに比べて優れたQoSと高い耐障害性を達成した。特に、死循环が最小限に抑えられる。

ABSTRACT

Unmanned Aerial vehicles (UAVs) are widely used as network processors in mobile networks, but more recently, UAVs have been used in Mobile Edge Computing as mobile servers. However, there are significant challenges to use UAVs in complex environments with obstacles and cooperation between UAVs. We introduce a new multi-UAV Mobile Edge Computing platform, which aims to provide better Quality-of-Service and path planning based on reinforcement learning to address these issues. The contributions of our work include: 1) optimizing the quality of service for mobile edge computing and path planning in the same reinforcement learning framework; 2) using a sigmoid-like function to depict the terminal users' demand to ensure a higher quality of service; 3) applying synthetic considerations of the terminal users' demand, risk and geometric distance in reinforcement learning reward matrix to ensure the quality of service, risk avoidance, and the cost-savings. Simulations have shown the effectiveness and feasibility of our platform, which can help advance related researches.

研究の動機と目的

• UAVベースのモバイルエッジコンピューティングにおける従来の経路計画の限界、特に動的環境への適応性の低さや頻発する死循环を解消すること。
• ユーザー需要、リスク、幾何的制約を考慮した、QoS最適化と経路計画を統合した1つの強化学習フレームワークを構築すること。
• 適応的でリアルタイムのポリシー学習を通じて、複雑で障害物が多い環境におけるQoSとミッションの信頼性を向上させること。
• 共有状態情報によるマルチUAV協調を可能にし、コスト削減と衝突回避を実現すること。

提案手法

• 最適なUAV経路とタスク割り当てを学習するため、深層Qネットワーク（DQN）に基づく強化学習フレームワークを採用する。
• ターミナルユーザーの需要をより的確に反映させるために、非線形なサービス満足度を表現できるシグモイド型関数を導入する。
• 報酬関数は、幾何的距離、リスク（衝突確率）、ユーザー需要という3つの要素を組み合わせており、トレードオフに応じた調整可能な係数を備えている。
• UAVはユーザーの位置と障害物の情報をリアルタイムで共有することで、協調的経路計画を実現し、局所最適解を回避する。
• 変化するユーザー需要と環境状態に応じてポリシーを動的に調整することで、リアルタイムでの適応性を実現する。
• 実際の制約を反映するため、障害物と移動ユーザーを含む3次元シミュレーション環境でシステムを訓練・評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチUAVモバイルエッジコンピューティングにおいて、統合された強化学習フレームワークがQoS、経路計画、リスク回避を同時に最適化できるか？
• RQ2 動的UAVサービス環境において、線形モデルと比較してシグモイド型ユーザー需要関数がQoSにどのように寄与するか？
• RQ3 A*などの従来アルゴリズムに比べて、提案されたRLベースのプラットフォームがQoS、経路効率、死循环耐性の観点でどの程度優れているか？
• RQ4 報酬関数の係数（K：経路長、M：リスク）の違いが、QoS、安全性、エネルギー効率のトレードオフにどのように影響するか？

主な発見

• 提案されたRLプラットフォームは、全テスト条件下でQoS=1.00を達成し、経路長とリスクペナルティが高くなる状況下でA*（最大QoS=0.61）を著しく上回った。
• K=50、M=0.5の設定下で、QoS=1.00を維持しながら平均経路長を1.13、リスクを0.36にまで低減し、優れた効率性と安全性を示した。
• A*アルゴリズムはK>10の条件下で頻繁に死循环に陥るが、RLフレームワークは全テスト条件下で安定し、ミッションを正常に完了した。
• K=5、M=0.5の報酬関数設定が最良のバランスを実現し、QoS=1.00、経路長=1.09、リスク=4.42を達成し、A*をすべての指標で上回った。
• シグモイド型需要関数により、特に高需要時における非線形なユーザー満足度を捉えることができ、タスク割り当てとQoSの向上が実現した。
• 高リスク条件下でA*と比較して平均リスクを最大75％まで低減した。衝突回避と安全性最適化の有効性が裏付けられた。