[論文レビュー] Comparative Analysis of Agent-Oriented Task Assignment and Path Planning Algorithms Applied to Drone Swarms

Rohith Gandhi Ganesan, Samantha Kappagoda+2 more|arXiv (Cornell University)|Jan 13, 2021

Robotic Path Planning Algorithms参考文献 15被引用数 4

ひとこと要約

本稿では、未知の環境におけるドローン群のタスク割り当てと経路計画のための分散型で強化学習に基づくフレームワークを提案する。ポリシー勾配ネットワークをWavefrontおよびポテンシャル場プランナと統合し、衝突回避を向上させるためにHuber損失を用いた適応的スピード制御を導入した。3ドアのシミュレーション（ドローン2台、目的地点25か所）において、L1損失ベースライン（561ステップ）と比較して、より高速なカバレッジ（309ステップ）を達成した。

ABSTRACT

Autonomous drone swarms are a burgeoning technology with significant applications in the field of mapping, inspection, transportation and monitoring. To complete a task, each drone has to accomplish a sub-goal within the context of the overall task at hand and navigate through the environment by avoiding collision with obstacles and with other agents in the environment. In this work, we choose the task of optimal coverage of an environment with drone swarms where the global knowledge of the goal states and its positions are known but not of the obstacles. The drones have to choose the Points of Interest (PoI) present in the environment to visit, along with the order to be visited to ensure fast coverage. We model this task in a simulation and use an agent-oriented approach to solve the problem. We evaluate different policy networks trained with reinforcement learning algorithms based on their effectiveness, i.e. time taken to map the area and efficiency, i.e. computational requirements. We couple the task assignment with path planning in an unique way for performing collision avoidance during navigation and compare a grid-based global planning algorithm, i.e. Wavefront and a gradient-based local planning algorithm, i.e. Potential Field. We also evaluate the Potential Field planning algorithm with different cost functions, propose a method to adaptively modify the velocity of the drone when using the Huber loss function to perform collision avoidance and observe its effect on the trajectory of the drones. We demonstrate our experiments in 2D and 3D simulations.

研究の動機と目的

• 限られたグローバルな知識を持つドローン群を用いた未知環境における最適カバレッジの課題に取り組む。
• マルチドローンシステムにおける分散型タスク割り当てのための深層強化学習アーキテクチャを比較する。
• 事前環境知識なしで、タスク割り当てをローカル経路計画と統合し、リアルタイムでの障害物回避を実現する。
• Huber損失を用いた適応的スピード制御が軌道の安全性とカバレッジ効率に与える影響を評価する。
• 2次元および3次元のシミュレーションにおいて、異なるポリシーネットワークと経路計画戦略のパフォーマンスをベンチマークする。

提案手法

• タスク割り当てに、シーケンス・ツー・シーケンス、アテンション拡張型シーケンス・ツー・シーケンス、Pointer Net、Transformerネットワークを用いたポリシー勾配強化学習を採用した。
• タスク割り当てを、グローバル計画用のグリッドベースWavefrontと、ローカル障害物回避用の勾配ベースポテンシャル場計画法と統合した。
• 視野（FoV）と障害物体積の重なりに基づき、δを動的に調整する速度スケーリング法を提案した。
• δ = (Vol(FoV)) / (Vol(FoV) + α(Vol(FoV) ∩ Vol(Obstacle))^β) × d/2 として定義し、ナビゲーション中のステップサイズを制御した。
• L1損失をベースラインとして用い、3次元シミュレーションにおいてαおよびβパラメータを変化させた状況で、Huber損失とのパフォーマンスを比較した。
• すべての構成を3回のシミュレーション実行で評価し、カバレッジ時間と効率の代理指標としてステップ数を測定した。

実験結果

リサーチクエスチョン

• RQ1 どの深層強化学習アーキテクチャが、未知環境におけるドローン群のタスク割り当てにおいて最も効果的かつ効率的か？
• RQ2 Huber損失による適応的スピード制御は、ドローン経路計画における衝突回避とカバレッジ時間にどのように影響を与えるか？
• RQ3 強化学習ベースのタスク割り当てと統合された場合、Wavefrontとポテンシャル場プランナの比較的パフォーマンスはいかがなっているか？
• RQ4 ポテンシャル場プランナにおける異なるコスト関数は、軌道の安定性と安全性にどのように影響を与えるか？
• RQ5 分散型タスク割り当てとローカル計画のハイブリッドアプローチは、ベースライン手法と比較してより高速かつ安全なカバレッジを達成できるか？

主な発見

• Huber損失関数におけるα=1およびβ=1の適応的δの使用により、3次元シミュレーションでステップ数が309に削減され、L1損失ベースライン（561ステップ）を上回った。
• αおよびβの高い値（例：α=4、β=1）は、過度に保守的な行動を引き起こし、速度更新が極端に小さくなるため、ステップ数が469に増加した。
• Transformerベースのポリシーネットワークは優れたパフォーマンスを示したが、ステップ数と計算負荷以外の具体的な比較指標は明記されていなかった。
• 適応的δを用いたポテンシャル場プランナは、固定速度または非適応的戦略と比較して、より高速なカバレッジと滑らかな軌道を達成した。
• Wavefrontプランナは強固なグローバル経路計画を提供したが、動的または密集した障害物環境では勾配ベースのポテンシャル場に比べて効果が劣った。
• 強化学習ベースのタスク割り当てと適応的ローカル計画の組み合わせにより、グローバル障害物知識がなくてもカバレッジ時間が著しく短縮され、安全性が向上した。