[論文レビュー] Learning-Based UAV Trajectory Optimization with Collision Avoidance and Connectivity Constraints

Xueyuan Wang, M. Cenk Gursoy|arXiv (Cornell University)|Apr 3, 2021

UAV Applications and Optimization参考文献 30被引用数 4

ひとこと要約

本稿では、衝突回避と地上基地局（GBS）への無線接続を維持する前提で、複数UAVの軌道最適化を実現する分散型ディープ強化学習フレームワークを提案する。時間到着予測のための価値ネットワークと、リアルタイムのSINR測定値を用いたSINR予測ニューラルネットワークを統合することで、動的かつ変化する接続性と障害物制約を伴う多様な環境において、リアルタイムで高成功率のナビゲーションを実現する。

ABSTRACT

Unmanned aerial vehicles (UAVs) are expected to be an integral part of wireless networks, and determining collision-free trajectories for multiple UAVs while satisfying requirements of connectivity with ground base stations (GBSs) is a challenging task. In this paper, we first reformulate the multi-UAV trajectory optimization problem with collision avoidance and wireless connectivity constraints as a sequential decision making problem in the discrete time domain. We, then, propose a decentralized deep reinforcement learning approach to solve the problem. More specifically, a value network is developed to encode the expected time to destination given the agent's joint state (including the agent's information, the nearby agents' observable information, and the locations of the nearby GBSs). A signal-to-interference-plus-noise ratio (SINR)-prediction neural network is also designed, using accumulated SINR measurements obtained when interacting with the cellular network, to map the GBSs' locations into the SINR levels in order to predict the UAV's SINR. Numerical results show that with the value network and SINR-prediction network, real-time navigation for multi-UAVs can be efficiently performed in various environments with high success rate.

研究の動機と目的

• 共有空域における複数UAVの協調制御の課題に取り組み、衝突を回避するとともに、地上基地局（GBS）への信頼性の高い接続を維持すること。
• 離散時間における逐次意思決定問題として、多UAV軌道最適化を定式化し、リアルタイム制御を可能にする。
• グローバル状態の知識が不要な状態で、UAVが局所的観測に基づいて行動できる分散型学習フレームワークを設計すること。
• UAVの高度、GBSのアレイパターン、障害物／飛行禁止区域など、さまざまな環境条件下でも頑健な性能を発揮すること。
• 現実的な無線接続制約のもとで、衝突、切断、ミッション完了時間の最小化を実現しながら、高いナビゲーション成功確率を達成すること。

提案手法

• 離散時間における逐次的意思決定タスクとして、多UAV軌道問題を再定式化し、時間的計画と行動選択を可能にする。
• エージェントの連合状態（自機の状態、周辺エージェントの位置、GBSの位置を含む）に基づいて、到着までの期待時間を推定する価値ネットワークを開発する。
• UAVとセルラー通信網との相互作用中に蓄積されたSINR測定値を用いて、GBSの位置から予測SINRレベルをマッピングするSINR予測ニューラルネットワークを設計する。
• 報酬関数がミッション完了時間、接続維持、衝突回避のバランスを取るように、ディープ強化学習アルゴリズムを用いてエージェントを訓練する。
• 訓練設定とは異なるGBS展開に対しても一般化を可能にするために、学習済みのSINR予測と価値ベースの行動選択を活用する。
• 障害物や飛行禁止区域が存在する環境におけるナビゲーションを支援するため、障害物を連合状態観測における静的エージェントとしてモデル化し、ポリシーが動的に適応できるようにする。

実験結果

リサーチクエスチョン

• RQ1 分散型ディープ強化学習手法は、GBSへの持続的接続と衝突回避を確保しつつ、多UAVの軌道最適化を効果的に実現できるか？
• RQ2 本手法は、訓練時に見なかった異なるGBS展開、UAV高度、アレイパターンを伴う環境に対しても、どの程度一般化できるか？
• RQ3 SINR予測ネットワークは、GBSの位置から信号品質を正確に推定することで、接続性を考慮したナビゲーションをどの程度向上できるか？
• RQ4 障害物や飛行禁止区域を含む複雑なシナリオにおいて、システムの性能はいかなるものか？また、UAV数の増加に伴い、高成功率を維持できるか？
• RQ5 UAV数の増加に伴い、ミッション完了時間、衝突率、切断率、スケーラビリティの間には、どのようなトレードオフが生じるか？

主な発見

• 提案されたRLTCW-SPアルゴリズムは、2エージェントシナリオで93.02％の成功率（SR）を達成し、衝突率（CR）は4％、切断率（DR）は0.06％であった。
• 5エージェントナビゲーションでは、成功率は依然として高い水準の91.12％を維持したが、エージェント密度の上昇に伴い観測性が低下し、衝突率は6.32％にわずかに上昇した。
• 8エージェントシナリオでは、成功率は90.075％であり、平均ミッション時間は1.28秒に増加し、相互作用の増加に伴う追加の複雑さが反映された。
• SINR予測ネットワークにより、正確な接続性推定が可能となり、GBSの位置とアレイパターンに基づいた変化するカバレッジゾーンに合わせてUAVの軌道を適応的に変更できるようになった。
• 本フレームワークは、未観測環境に対しても良好に一般化する：異なるUAV高度（50m対100m）、ビーム幅（15°対35°）、下向き傾き角度（10°対15°）の環境でも、高い接続性と低い衝突率を維持して、UAVは正常にナビゲートした。
• 障害物や飛行禁止区域は、連合状態に静的エージェントとしてモデル化することで、効果的に処理された。これにより、ポリシーはそれらを避けるとともに、接続性を維持し、経路長を最小限に抑えることができた。