[论文解读] Comparative Analysis of Agent-Oriented Task Assignment and Path Planning Algorithms Applied to Drone Swarms

Rohith Gandhi Ganesan, Samantha Kappagoda+2 more|arXiv (Cornell University)|Jan 13, 2021

Robotic Path Planning Algorithms参考文献 15被引用 4

一句话总结

该论文提出了一种去中心化的、基于强化学习的无人机蜂群任务分配与路径规划框架，结合策略梯度网络与Wavefront及势场规划器。通过Huber损失实现自适应速度控制，以提升避碰性能，在2架无人机和25个兴趣点的3D仿真中，相较于基线L1损失（561步），实现了更快的覆盖速度（309步）。

ABSTRACT

Autonomous drone swarms are a burgeoning technology with significant applications in the field of mapping, inspection, transportation and monitoring. To complete a task, each drone has to accomplish a sub-goal within the context of the overall task at hand and navigate through the environment by avoiding collision with obstacles and with other agents in the environment. In this work, we choose the task of optimal coverage of an environment with drone swarms where the global knowledge of the goal states and its positions are known but not of the obstacles. The drones have to choose the Points of Interest (PoI) present in the environment to visit, along with the order to be visited to ensure fast coverage. We model this task in a simulation and use an agent-oriented approach to solve the problem. We evaluate different policy networks trained with reinforcement learning algorithms based on their effectiveness, i.e. time taken to map the area and efficiency, i.e. computational requirements. We couple the task assignment with path planning in an unique way for performing collision avoidance during navigation and compare a grid-based global planning algorithm, i.e. Wavefront and a gradient-based local planning algorithm, i.e. Potential Field. We also evaluate the Potential Field planning algorithm with different cost functions, propose a method to adaptively modify the velocity of the drone when using the Huber loss function to perform collision avoidance and observe its effect on the trajectory of the drones. We demonstrate our experiments in 2D and 3D simulations.

研究动机与目标

• 解决在全局知识有限的未知环境中，利用无人机蜂群实现最优覆盖的挑战。
• 比较多无人机系统中去中心化任务分配的深度强化学习架构。
• 将任务分配与本地路径规划相结合，实现实时障碍物避让，且无需预先掌握环境信息。
• 评估基于Huber损失的自适应速度控制对轨迹安全性和覆盖效率的影响。
• 在2D和3D仿真中，对不同策略网络与路径规划策略的性能进行基准测试。

提出的方法

• 采用策略梯度强化学习，结合序列到序列、注意力增强的序列到序列、Pointer Net和Transformer网络，用于任务分配。
• 将任务分配与两种路径规划策略相结合：基于网格的Wavefront用于全局规划，基于梯度的势场用于局部障碍物避让。
• 提出一种基于Huber损失函数的动态速度缩放方法，其中δ根据视场与障碍物体积的交集自适应调整。
• 将δ定义为δ = (Vol(FoV)) / (Vol(FoV) + α(Vol(FoV) ∩ Vol(Obstacle))^β) × d/2，以调节导航过程中的步长。
• 以L1损失作为基线，在3D仿真中对比不同α和β参数下Huber损失的性能。
• 在三次仿真运行中评估所有配置，以时间步数作为覆盖时间与效率的代理指标。

实验结果

研究问题

• RQ1 哪种深度强化学习架构在未知环境中对无人机蜂群的任务分配最有效且高效？
• RQ2 通过Huber损失实现的自适应速度控制如何影响无人机路径规划中的碰撞避免与覆盖时间？
• RQ3 当与基于强化学习的任务分配结合时，Wavefront与势场规划器的性能表现如何比较？
• RQ4 势场规划器中不同代价函数对轨迹稳定性和安全性有何影响？
• RQ5 去中心化任务分配与本地路径规划的混合方法是否能实现比基线方法更快、更安全的覆盖？

主要发现

• 在Huber损失函数中采用自适应δ，且α=1、β=1时，时间步数减少至309，优于3D仿真中L1损失基线的561步。
• 较高的α和β值（如α=4，β=1）导致行为过于保守，使时间步数增加至469，原因在于速度更新过小。
• 基于Transformer的策略网络表现出较强性能，尽管除时间步数与计算负载外，未提供具体对比指标。
• 采用自适应δ的势场规划器在覆盖速度与轨迹平滑性方面优于固定速度或非自适应策略。
• Wavefront规划器在全局路径规划方面表现稳健，但在动态或密集障碍物环境中，其效果不如基于梯度的势场规划器。
• 基于强化学习的任务分配与自适应本地规划相结合，显著减少了覆盖时间并提升了安全性，且无需全局障碍物知识。