[论文解读] MRPB 1.0: A Unified Benchmark for the Evaluation of Mobile Robot Local Planning Approaches

Jian Wen, Xuebo Zhang+5 more|arXiv (Cornell University)|Nov 1, 2020

Robotic Path Planning Algorithms参考文献 22被引用 4

一句话总结

MRPB 1.0 是一个统一的基准，用于评估移动机器人局部规划方法，包含四种仿真场景——室内、狭窄空间、部分未知和动态环境——以及三种系统性指标：安全性、效率和顺滑度。该基准表明，基于优化的规划器（如 TEB）在效率（快 8.94 倍）、安全性（更高的障碍物间距）和灵活性（在复杂迷宫中表现更优）方面优于基于采样的规划器（如 DWA）。

ABSTRACT

Local planning is one of the key technologies for mobile robots to achieve full autonomy and has been widely investigated. To evaluate mobile robot local planning approaches in a unified and comprehensive way, a mobile robot local planning benchmark called MRPB 1.0 is newly proposed in this paper. The benchmark facilitates both motion planning researchers who want to compare the performance of a new local planner relative to many other state-of-the-art approaches as well as end users in the mobile robotics industry who want to select a local planner that performs best on some problems of interest. We elaborately design various simulation scenarios to challenge the applicability of local planners, including large-scale, partially unknown, and dynamic complex environments. Furthermore, three types of principled evaluation metrics are carefully designed to quantitatively evaluate the performance of local planners, wherein the safety, efficiency, and smoothness of motions are comprehensively considered. We present the application of the proposed benchmark in two popular open-source local planners to show the practicality of the benchmark. In addition, some insights and guidelines about the design and selection of local planners are also provided. The benchmark website contains all data of the designed simulation scenarios, detailed descriptions of these scenarios, and example code.

研究动机与目标

• 为移动机器人局部规划方法解决缺乏标准化、可重复且全面的评估框架的问题。
• 提供公开、可复现的仿真场景，以挑战局部规划器在复杂、类真实环境中的鲁棒性。
• 建立基于安全性、效率和顺滑度指标的系统性、多维评估体系，实现客观的性能对比。
• 实现跨多样化环境和性能维度的公平、系统性基准测试。
• 基于实证、数据驱动的洞察，指导研究人员和实践者选择或设计局部规划器。

提出的方法

• 在 Gazebo 中设计并发布四种不同的仿真场景类型：室内（各类规模的办公环境）、狭窄空间（迷宫、U/Z 形通道）、部分未知（先验地图不完整）和动态（移动障碍物）。
• 使用基于开源 ROS 的仿真，实现统一的评估流程，标准化的起始/目标位姿配置可在基准网站获取。
• 定义三个核心评估指标：安全性（与障碍物的最小距离、处于危险区域的时间）、效率（行驶距离、到达目标时间）和顺滑度（路径曲率、速度/加速度变化）。
• 将该基准应用于评估两种开源局部规划器——DWA（基于采样）和 TEB（基于优化）——在所有场景中的表现，以确保实际验证。
• 每个场景使用多个随机起始-目标对，以减少评估随机性并提高统计可靠性。
• 将计算效率作为指标纳入评估，承认其对平台的依赖性，并以绝对时间和相对加速比报告结果。

实验结果

研究问题

• RQ1 如何设计一个统一、可复现且全面的基准，以在多样化环境中评估移动机器人局部规划方法？
• RQ2 在标准化条件下，不同局部规划器（如 DWA 与 TEB）在安全性、效率和顺滑度方面的差异程度如何？
• RQ3 局部规划器在狭窄通道、部分未知地图和动态障碍物等复杂环境中的表现如何？
• RQ4 基于采样与基于优化的局部规划方法之间，关键性能权衡是什么？
• RQ5 系统性多指标评估体系能否揭示单指标评估（如总距离）所遗漏的洞察？

主要发现

• 由于采用基于优化的方法并以全局路径作为初始猜测，TEB 的计算速度比 DWA 快 8.94 倍。
• 在所有场景中，TEB 平均将时间到目标减少了 9.2%，表现出更高的运动效率。
• TEB 展现出更优的安全性能，与障碍物的最小距离始终高于 DWA，从而降低了碰撞风险。
• 在狭窄空间和迷宫类环境中，DWA 因速度采样不可行而频繁失败，而 TEB 成功导航了所有此类场景。
• TEB 生成的轨迹更平滑，曲率更低，速度波动更小，这一结果由路径顺滑度指标量化。
• 该基准揭示，DWA 的性能对人工调校的成本函数权重高度敏感，凸显了自适应或学习型参数调优的必要性。