[論文レビュー] Multi-UAV Adaptive Path Planning Using Deep Reinforcement Learning

Jonas Westheider, Julius Rückin+1 more|arXiv (Cornell University)|Mar 2, 2023

Robotic Path Planning Algorithms被引用数 5

ひとこと要約

本稿では、反事後的マルチエージェント方策勾配を用いて協調的で情報性の高いパスプランニングを3次元地形モニタリングで解決する、深層強化学習に基づくマルチUAVパスプランニングフレームワークを提案する。新規の3次元対応ネットワーク特徴量と明示的な報酬割り当てを導入することで、学習ベースでないベースラインと比較して、より高速かつ効率的な関心領域のマッピングを実現し、再訓練を必要とせずにチームサイズや通信制約の変動に対しても優れた一般化性能を示す。

ABSTRACT

Efficient aerial data collection is important in many remote sensing applications. In large-scale monitoring scenarios, deploying a team of unmanned aerial vehicles (UAVs) offers improved spatial coverage and robustness against individual failures. However, a key challenge is cooperative path planning for the UAVs to efficiently achieve a joint mission goal. We propose a novel multi-agent informative path planning approach based on deep reinforcement learning for adaptive terrain monitoring scenarios using UAV teams. We introduce new network feature representations to effectively learn path planning in a 3D workspace. By leveraging a counterfactual baseline, our approach explicitly addresses credit assignment to learn cooperative behaviour. Our experimental evaluation shows improved planning performance, i.e. maps regions of interest more quickly, with respect to non-counterfactual variants. Results on synthetic and real-world data show that our approach has superior performance compared to state-of-the-art non-learning-based methods, while being transferable to varying team sizes and communication constraints.

研究の動機と目的

• 大規模で非一様な地形モニタリング環境におけるUAVチームの協調的で適応的パスプランニングの課題に対処すること。
• ターゲットが均一に分布すると仮定する非適応的・静的パスプランニング手法の限界を克服し、関心領域を優先できるようにすること。
• 入力センサデータと動的環境認識に基づくリアルタイムで分散型の意思決定を可能にすることで、計画の効率を向上させること。
• マルチエージェント強化学習における報酬割り当て問題を明示的に解決し、共同ミッション目標における協調性とパフォーマンスを向上させること。
• 再訓練を必要とせずに、訓練済み方策が異なるチームサイズや通信範囲に一般化できることを示し、実世界の展開への広範な適用可能性を確保すること。

提案手法

• 協調的行動の安定的かつ効果的な学習を可能にするために、報酬割り当てを明示的に扱う反事後的マルチエージェント方策勾配（COMA）を採用する。
• 三次元ワークスペースにおける地形状態、UAV位置、センサ測定値を符号化する新規の3次元対応ニューラルネットワーク入力表現を設計する。
• 各UAVが局所的観測と限界的な周辺エージェントとの通信に基づいて意思決定を行う分散型でオンボードの意思決定アーキテクチャを採用する。
• 合成データを用いたシミュレーテッド環境で、マップエントロピー低減とF1スコア向上に基づくスパarsな報酬を使用して、方策ネットワークを深層強化学習で訓練する。
• 最小間隔やミッション期間などの制約を満たすために、アクションマスクを適用し、実行可能で安全なUAV軌道を保証する。
• 他の行動を取っていた場合の期待報酬を推定する反事後ベースラインを活用することで、正確な報酬割り当てと安定した方策更新を実現する。

Figure 1 : Our RL-based approach applied in a multi- UAV surface temperature mapping scenario. The UAVs take images of the terrain (white transparent) and communicate them (grey dashed arrows). Based on locally available information, each UAV decides from a set of actions (orange arrows) where to ta

実験結果

リサーチクエスチョン

• RQ1 反事後的報酬割り当てを用いた深層強化学習は、非学習ベースの手法と比較して、マルチUAV地形モニタリングにおける協調的パスプランニング性能を向上させることができるか？
• RQ2 提案された3次元対応ネットワーク特徴表現は、複雑な3次元環境における効率的かつ正確なパスプランニングを実現するのにどの程度有効か？
• RQ3 訓練済み方策は、再訓練を経ずに異なるチームサイズや通信範囲に一般化できるか？
• RQ4 反事後ベースラインの使用は、協調的行動と全体的なミッション効率に測定可能な改善をもたらすか？
• RQ5 合成データで訓練された方策は、実世界のUAVデータ収集タスク（例：赤外表面マッピング）に実際に転移可能か？

主な発見

• 4エージェント・フル通信環境下で、提案手法は平均F1スコア0.7524 ± 0.0465を達成し、非学習ベースのIGベースライン（0.7606 ± 0.0306）およびカバレッジベースラインを上回った。
• 実世界の温度マッピングシナリオでは、合成データで訓練されたRLベース手法が、IG、ランダム、カバレッジ手法よりもマップエントロピーの低減をより効果的に行い、実世界への転移性が優れていることが示された。
• 2、4、8エージェントのチームサイズおよび0 m、25 m、無制限の通信範囲において、再訓練を経ずに一般化が可能であり、ベースラインと比較して一貫したパフォーマンス向上を維持した。
• 反事後的報酬割り当て機構により、エントロピー低減の速さとF1スコアの向上が非反事後的バージョンと比較して向上し、協調的行動の向上が裏付けられた。
• 4エージェント・フル通信設定下で、平均AUSE（スパars化誤差曲線下積分）は0.7428 ± 0.0276を達成し、スパースデータ収集時の情報損失を最小化する強力なパフォーマンスを示した。
• 特にミッション初期段階において、ラawn-mowerカバレッジやランダム探索といった非適応的戦略に比べ、高い情報量の領域に動的に焦点を合わせられる能力により、著しく優れた性能を発揮した。

Figure 2 : Inter- UAV communication. The UAVs (filled circles) exchange their current measurements (square footprints) with each other when closer than a limited communication range (black dotted circle). Green and dotted red lines indicate in-range and out-of-range communications, respectively. The