[論文レビュー] Efficient UAV Trajectory-Planning using Economic Reinforcement Learning

Alvi Ataur Khalil, Alexander J. Byrne+2 more|arXiv (Cornell University)|Mar 3, 2021

UAV Applications and Optimization参考文献 44被引用数 6

ひとこと要約

本論文は、UAVが協働して経路を計画し、タスクを効率的に分配できるようにするための、経済的オークションメカニズムを用いたマルチエージェント強化学習フレームワークであるREPlannerを提案する。経路計画をエージェント間の入札を伴う部分的に観測可能なマルコフ意思決定過程（POMDP）としてモデル化することで、標準的なQ学習と比較して33%高い経路距離効率、18%速いミッション完了時間、200%高い報酬獲得を達成した。また、スワームのサイズ変化に対しても耐性があり、分散型で衝突のない協調を実現する。

ABSTRACT

Advances in unmanned aerial vehicle (UAV) design have opened up applications as varied as surveillance, firefighting, cellular networks, and delivery applications. Additionally, due to decreases in cost, systems employing fleets of UAVs have become popular. The uniqueness of UAVs in systems creates a novel set of trajectory or path planning and coordination problems. Environments include many more points of interest (POIs) than UAVs, with obstacles and no-fly zones. We introduce REPlanner, a novel multi-agent reinforcement learning algorithm inspired by economic transactions to distribute tasks between UAVs. This system revolves around an economic theory, in particular an auction mechanism where UAVs trade assigned POIs. We formulate the path planning problem as a multi-agent economic game, where agents can cooperate and compete for resources. We then translate the problem into a Partially Observable Markov decision process (POMDP), which is solved using a reinforcement learning (RL) model deployed on each agent. As the system computes task distributions via UAV cooperation, it is highly resilient to any change in the swarm size. Our proposed network and economic game architecture can effectively coordinate the swarm as an emergent phenomenon while maintaining the swarm's operation. Evaluation results prove that REPlanner efficiently outperforms conventional RL-based trajectory search.

研究の動機と目的

• 障害物や複数の関心ポイント（POIs）を有する動的環境で、UAVスワームが分散型かつスケーラブルで耐性のある経路計画を実現する課題に対処すること。
• 動的変化や単一障害点に脆弱な、集中型で計算コストが高く、壊れやすい従来手法の限界を克服すること。
• 直接的な通信なしに、オークションベースのメカニズムを通じてUAVが自律的にタスク割り当てを交渉可能とし、協調性と効率性を向上させること。
• 経済的価格付けを価値の代理指標として用いることで、個々のエージェント報酬とグローバルミッション目標の両立を図る強化学習フレームワークを設計すること。
• 経済的インスピレーションを受ける強化学習が、特にスワームサイズやPOI数が増加する際、標準的なQ学習を著しく上回ることを実証すること。

提案手法

• UAVの経路計画を、UAVがオークションメカニズムを用いてPOIを入札することで実現するマルチエージェント経済ゲームとしてモデル化し、分散型タスク配分を可能にする。
• 問題は、各UAVが自身の観測に基づいて行動し、強化学習により最適ポリシーを学習する部分的に観測可能なマルコフ意思決定過程（POMDP）として定式化される。
• 各UAVは、経済的インcentivesを組み込んだQ学習エージェントを採用する：入札額はPOIを訪問する価値の認識を反映し、契約交換により競合を解消しタスクを割り当てる。
• 報酬関数は、ミッション完了速度、経路効率、燃料コストのバランスを取るように設計され、経済的価格付けによりスワーム行動のリアルタイム監視が可能になる。
• オークションメカニズムによりエージェントが自己組織化され、余分な探索や競合が削減され、探索やモニタリングといった役割分担が可能になる。
• フレームワークは、ランダムに配置されたPOIを有する確率的環境で評価され、UAVは他のエージェントの瞬時の位置情報のみに基づいて経路を学習する。

実験結果

リサーチクエスチョン

• RQ1 標準的なQ学習と比較して、経済的強化学習フレームワークはUAVスワームの経路計画効率を向上させることができるか？
• RQ2 提案されたオークションベースの協調メカニズムは、動的で部分的に観測可能な環境下で、経路長、ミッション完了時間、報酬蓄積にどのような影響を及ぼすか？
• RQ3 REPlannerフレームワークは、UAVおよびPOIの数の増加に伴い、どの程度スケーリング可能か？
• RQ4 経済的メカニズムの統合は、マルチエージェントUAVシステムにおける分散型、耐性、適応性をどのように向上させるか？
• RQ5 経済的価格付けは、透過性のない強化学習システムにおけるスワーム行動の監視や、出現的協調の代理指標として効果的であると評価できるか？

主な発見

• REPlannerは、標準的なQ学習と比較して33%高い経路距離効率を達成した。特にPOIとUAVの比率が高くなると顕著に顕在した。
• 経済的バージョンは、すべてのテストされたスワームサイズおよびPOI構成でミッション完了時間を18%短縮した。
• 3機のUAVを用いた1回の学習イテレーション後、REPlannerは標準的なQ学習と比較して報酬蓄積が200%高かった。これは、ミッション目標の最適化が優れていることを示している。
• 経済的Q学習モデルは24,000回目のエピソードで平均エピソード報酬（EAR）がほぼ75に達したが、非経済的バージョンは-150にとどまり、学習の速度と効果性が顕著に向上した。
• スワームサイズの増加に対しても、高いパフォーマンスとスケーラビリティを維持した。経済的メカニズムにより、集中制御なしに効率的かつ出現的協調が可能であることが示された。
• オークションメカニズムにより、不要な競合や衝突が著しく削減され、UAVは明示的な通信なしに未訪問または高価値領域に集中することができた。