[論文レビュー] Learning to Recharge: UAV Coverage Path Planning through Deep Reinforcement Learning

Mirco Theile, Harald Bayerlein+2 more|arXiv (Cornell University)|Sep 6, 2023

Robotic Path Planning Algorithms被引用数 6

ひとこと要約

本稿では、地図ベースの観測、アクションマスク、割引率スケジューリングを用いた、深層強化学習（DRL）アプローチを提案する。この手法は、充電を伴う電力制約下でのUAVカバレッジパス計画問題を解決するもので、ヒューリスティックベースラインを上回り、多様な地図（未学習のものも含む）に一般化可能であり、状態ループを解消するための位置履歴を用いた長時間スケールの意思決定を可能にする。

ABSTRACT

Coverage path planning (CPP) is a critical problem in robotics, where the goal is to find an efficient path that covers every point in an area of interest. This work addresses the power-constrained CPP problem with recharge for battery-limited unmanned aerial vehicles (UAVs). In this problem, a notable challenge emerges from integrating recharge journeys into the overall coverage strategy, highlighting the intricate task of making strategic, long-term decisions. We propose a novel proximal policy optimization (PPO)-based deep reinforcement learning (DRL) approach with map-based observations, utilizing action masking and discount factor scheduling to optimize coverage trajectories over the entire mission horizon. We further provide the agent with a position history to handle emergent state loops caused by the recharge capability. Our approach outperforms a baseline heuristic, generalizes to different target zones and maps, with limited generalization to unseen maps. We offer valuable insights into DRL algorithm design for long-horizon problems and provide a publicly available software framework for the CPP problem.

研究の動機と目的

• バッテリーの制限により中間の充電が必要な電力制約下のUAVカバレッジパス計画の課題に対処すること。
• 長時間スケールのミッションにわたり完全カバレッジを最適化するとともに充電ステップを統合するDRLフレームワークの開発。
• モデルベースのアクションマスクと割引率スケジューリングにより、学習の安定性と安全性を向上させること。
• 多様な環境での学習と位置履歴の組み合わせにより、未学習の地図への一般化を可能とし、状態ループを解消すること。
• 再現性と将来的なUAV CPP分野の研究を支援するため、公開可能なOpenAI Gym互換のソフトウェアフレームワークを提供すること。

提案手法

• DRLエージェントのためのグローバルおよびローカルな地図観測を備えたマルコフ決定過程（MDP）としてカバレッジパス計画問題を定式化する。
• 安全モデルに基づくアクションマスクを実装し、衝突を防止するとともに実行可能な行動を強制することで、学習の安定性と安全性を向上させる。
• 即時の報酬と長期的報酬のバランスを取るために割引率スケジューリングを適用し、エージェントがまずタスクを達成できるように学習し、その後に経路効率を最適化できるようにする。
• エージェントの過去の位置履歴を組み込むことで、充電中に再び以前に訪問した状態に戻る可能性があることによる、発生する状態ループを検出し、解消する。
• PPOベースのDRLエージェントを、専用エージェント（1つの地図で学習）およびマルチマップ一般化エージェント（例：Multi10、10の地図で学習）を含む多様な地図セットで学習する。
• 比較のためのベースラインとして、モデルベースのグリーディーヒューリスティックを用い、複数の地図でステップ数とタスク達成率の観点から性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのアプローチは、充電を伴う長時間スケールの電力制約下のUAVカバレッジパス計画問題を効果的に解決できるか？
• RQ2 アクションマスクは、エネルギー制約下のUAVパス計画において、学習の安定性と安全性をどのように向上させるか？
• RQ3 割引率スケジューリングは、エージェントが効率的で完全なカバレッジ経路を学習する能力をどの程度向上させるか？
• RQ4 位置履歴メカニズムは、充電機能に起因する状態ループの解消にどの程度有効か？
• RQ5 DRLベースのUAVパス計画において、特化（既知の地図での高いパフォーマンス）と一般化（未学習の地図でのパフォーマンス）の間には、どのようなトレードオフがあるか？

主な発見

• アクションマスクと割引率スケジューリングを組み合わせた提案されたPPOベースのDRLアプローチは、ベースラインのヒューリスティックを大きく上回り、評価されたすべての地図でより短い経路を達成するという点で、経路効率において顕著な優位性を示した。
• 10の多様な地図で学習したMulti10エージェントは、未学習のCal地図とBorder地図を正常に解決し、新しい環境へのゼロショット一般化能力が顕著に高いことを示した。
• Border地図で学習した専用エージェントは、挑戦的なBorder地図において評価シナリオの約33％でタスクを完了したが、Multi10エージェントも同程度の33％の成功率を示し、特化していないにもかかわらず強力な一般化能力を示した。
• Cal地図において、Multi10エージェントはヒューリスティック（617ステップ）を上回り、専用エージェント（435ステップ）と比較しても優れた結果を出した（ただし、専用エージェントは同地図で学習済み）。これは、一般化が高パフォーマンスを犠牲にしないことを示している。
• アブレーションスタディにより、アクションマスク、割引率スケジューリング、位置履歴が学習パフォーマンスとタスク完了にそれぞれ顕著な寄与をしていることが確認された。
• 本研究では明確なトレードオフが明らかになった：特化型エージェントは分布内の地図で高いパフォーマンスを発揮するが、マルチマップ一般化エージェントは未学習の地図への一般化能力に優れている。今後の研究では、少数のサンプル（Few-shot）や1サンプル（One-shot）一般化への道筋が示唆される。