[论文解读] Efficient UAV Trajectory-Planning using Economic Reinforcement Learning

Alvi Ataur Khalil, Alexander J. Byrne+2 more|arXiv (Cornell University)|Mar 3, 2021

UAV Applications and Optimization参考文献 44被引用 6

一句话总结

该论文提出 REPlanner，一种基于经济拍卖机制的多智能体强化学习框架，使无人机（UAV）能够协作规划轨迹并高效分配任务。通过将路径规划建模为部分可观测马尔可夫决策过程（POMDP），并引入智能体间竞标机制，REPlanner 在路径距离效率方面较标准 Q-learning 提高 33%，任务完成时间缩短 18%，奖励获取量提升 200%。该方法对群体规模变化具有鲁棒性，并实现了去中心化、无碰撞的协调。

ABSTRACT

Advances in unmanned aerial vehicle (UAV) design have opened up applications as varied as surveillance, firefighting, cellular networks, and delivery applications. Additionally, due to decreases in cost, systems employing fleets of UAVs have become popular. The uniqueness of UAVs in systems creates a novel set of trajectory or path planning and coordination problems. Environments include many more points of interest (POIs) than UAVs, with obstacles and no-fly zones. We introduce REPlanner, a novel multi-agent reinforcement learning algorithm inspired by economic transactions to distribute tasks between UAVs. This system revolves around an economic theory, in particular an auction mechanism where UAVs trade assigned POIs. We formulate the path planning problem as a multi-agent economic game, where agents can cooperate and compete for resources. We then translate the problem into a Partially Observable Markov decision process (POMDP), which is solved using a reinforcement learning (RL) model deployed on each agent. As the system computes task distributions via UAV cooperation, it is highly resilient to any change in the swarm size. Our proposed network and economic game architecture can effectively coordinate the swarm as an emergent phenomenon while maintaining the swarm's operation. Evaluation results prove that REPlanner efficiently outperforms conventional RL-based trajectory search.

研究动机与目标

• 解决在存在障碍物和多个兴趣点（POIs）的动态环境中，无人机群实现去中心化、可扩展且具备鲁棒性的轨迹规划挑战。
• 克服传统集中式方法计算成本高、脆弱性强的局限，这些方法在动态变化或单点故障下容易失效。
• 使无人机能够通过基于拍卖的机制自主协商任务分配，提升协调效率，且无需直接通信。
• 设计一种强化学习框架，通过经济定价作为价值的代理，平衡个体智能体奖励与全局任务目标。
• 证明基于经济启发的强化学习在多无人机路径规划中可显著优于标准 Q-learning，尤其在群体规模和兴趣点数量增加时表现更优。

提出的方法

• 系统将无人机路径规划建模为多智能体经济博弈，无人机通过拍卖机制竞标兴趣点（POIs），实现去中心化任务分配。
• 该问题被形式化为部分可观测马尔可夫决策过程（POMDP），每个无人机基于自身观测进行决策，并通过强化学习学习最优策略。
• 每个无人机采用增强经济激励的 Q-learning 智能体：出价反映其对访问某 POI 的感知价值，通过合同交换解决冲突并分配任务。
• 奖励函数设计用于平衡任务完成速度、路径效率与燃油成本，经济定价机制实现对群体行为的实时监控。
• 拍卖机制使智能体能够自我组织，减少冗余探索与竞争，支持角色专业化，如探索或监控。
• 该框架在随机布置 POIs 的随机环境中进行评估，无人机仅基于其他无人机的瞬时位置学习路径，不依赖完整轨迹信息。

实验结果

研究问题

• RQ1 与标准 Q-learning 相比，基于经济的强化学习框架是否能提升无人机群路径规划的效率？
• RQ2 所提出的基于拍卖的协调机制在动态、部分可观测环境中对路径长度、任务完成时间和奖励累积有何影响？
• RQ3 REPlanner 框架在无人机和 POI 数量增加时的可扩展性如何？
• RQ4 经济机制的集成如何增强多智能体无人机系统中的去中心化、鲁棒性与适应性？
• RQ5 经济定价能否作为有效代理，用于监控不透明强化学习系统中的群体行为与涌现协调？

主要发现

• 与标准 Q-learning 相比，REPlanner 在路径距离效率方面提升 33%，尤其在 POI 与无人机比例增加时表现更显著。
• 经济变体在所有测试的群体规模和 POI 配置下，任务完成时间减少 18%。
• 在使用三架无人机进行一次训练迭代后，REPlanner 的奖励累积量比标准 Q-learning 高出 200%，表明其对任务目标的优化能力更强。
• 经济 Q-learning 模型在第 24,000 个训练周期时平均回合奖励（EAR）接近 75，而非经济变体仅达到 -150，表明其学习速度更快、效果更优。
• 随着群体规模增加，系统保持高性能与可扩展性，表明经济机制可实现高效、涌现的协调，无需集中控制。
• 拍卖机制成功减少了不必要的竞争与碰撞，使无人机能够专注于未访问或高价值区域，且无需显式通信。