[论文解读] A review of mobile robot motion planning methods: from classical motion planning workflows to reinforcement learning-based architectures

Dong, Lu, Zichen He+2 more|arXiv (Cornell University)|Aug 31, 2021

Robotic Path Planning Algorithms参考文献 140被引用 9

一句话总结

本文全面综述了移动机器人运动规划，对比了经典分层方法与现代基于强化学习（RL）的方法。文章指出，深度强化学习实现了无需地图、端到端的规划，统一了全局与局部规划，提升了在动态环境中的适应性，同时指出了诸如奖励稀疏性和样本效率等关键挑战。

ABSTRACT

Motion planning is critical to realize the autonomous operation of mobile robots. As the complexity and randomness of robot application scenarios increase, the planning capability of the classical hierarchical motion planners is challenged. With the development of machine learning, deep reinforcement learning (DRL)-based motion planner has gradually become a research hotspot due to its several advantageous features. DRL-based motion planner is model-free and does not rely on the prior structured map. Most importantly, DRL-based motion planner achieves the unification of the global planner and the local planner. In this paper, we provide a systematic review of various motion planning methods. First, we summarize the representative and state-of-the-art works for each submodule of the classical motion planning architecture and analyze their performance features. Subsequently, we concentrate on summarizing RL-based motion planning approaches, including motion planners combined with RL improvements, map-free RL-based motion planners, and multi-robot cooperative planning methods. Last but not least, we analyze the urgent challenges faced by these mainstream RL-based motion planners in detail, review some state-of-the-art works for these issues, and propose suggestions for future research.

研究动机与目标

• 系统分析经典运动规划流程及其在复杂、动态环境中的局限性。
• 回顾基于强化学习的运动规划最新进展，包括无地图端到端学习和多机器人协同规划。
• 识别应用基于强化学习的规划器时的关键挑战，如奖励稀疏性、样本效率和现实差距。
• 提出未来研究方向，以提升基于强化学习的运动规划器的泛化能力、鲁棒性及实际部署性能。

提出的方法

• 将经典运动规划分类为全局规划器与局部规划器，分析A*、RRT和DWA等代表性算法。
• 综述基于强化学习的运动规划方法，包括利用强化学习优化经典规划器的混合方法，以及完全端到端的无地图规划器。
• 研究多模态强化学习，通过整合视觉、语言和传感器数据以提升规划性能。
• 探索多任务强化学习，通过共享策略学习在路径长度、安全性与能效等目标之间实现平衡优化。
• 研究人机协同强化学习，以提升交互性能，包括示范教学与人类反馈集成。
• 分析基于MARL的多异构与多机器人队形规划，在三维环境中采用中心化评论家与分布式执行者实现。

实验结果

研究问题

• RQ1 在结构化与动态环境中，经典运动规划工作流在性能与适应性方面如何比较？
• RQ2 强化学习在不依赖先验地图或分层分解的情况下，如何增强运动规划？
• RQ3 哪些关键挑战（如奖励稀疏性与样本效率）限制了基于强化学习的规划器在真实场景中的部署？
• RQ4 多任务与多模态学习如何提升端到端基于强化学习的规划器的泛化能力与鲁棒性？
• RQ5 人机协同交互与多机器人协作在推动实时、自适应运动规划方面发挥何种作用？

主要发现

• 基于强化学习的运动规划器通过统一全局与局部规划，实现了端到端规划，消除了对独立分层模块的需求。
• 无地图的基于强化学习的规划器在非结构化与动态环境中表现出更强的适应性，尤其在实时制图不可行时。
• 多模态强化学习通过整合视觉与语言输入，提升了复杂、指令驱动任务中的规划性能。
• 多任务强化学习通过共享策略学习，实现了在路径长度、安全性与能效等目标间的平衡优化。
• 人机协同方法（包括示范教学）提升了在不可预测环境中的响应速度与适应能力。
• 基于MARL的多异构与多机器人队形规划，实现了无先验地图的三维空间中动态任务分配与协同决策。