[论文解读] Characterizing SLAM Benchmarks and Methods for the Robust Perception Age

Wenkai Ye, Yipu Zhao+1 more|arXiv (Cornell University)|May 19, 2019

Robotics and Sensor-Based Localization参考文献 35被引用 6

一句话总结

本文提出一种决策树框架，通过姿态跟踪误差聚类和慢动作ROS数据包回放，识别出挑战当前最先进SLAM算法的关键基准属性，如运动动力学和序列时长，以定位计算瓶颈。主要贡献在于基于数据的SLAM弱点表征，揭示了长序列和高运动动力学是主要的失败因素，且DSO与ORB在剧烈运动下表现出截然不同的鲁棒性。

ABSTRACT

The diversity of SLAM benchmarks affords extensive testing of SLAM algorithms to understand their performance, individually or in relative terms. The ad-hoc creation of these benchmarks does not necessarily illuminate the particular weak points of a SLAM algorithm when performance is evaluated. In this paper, we propose to use a decision tree to identify challenging benchmark properties for state-of-the-art SLAM algorithms and important components within the SLAM pipeline regarding their ability to handle these challenges. Establishing what factors of a particular sequence lead to track failure or degradation relative to these characteristics is important if we are to arrive at a strong understanding for the core computational needs of a robust SLAM algorithm. Likewise, we argue that it is important to profile the computational performance of the individual SLAM components for use when benchmarking. In particular, we advocate the use of time-dilation during ROS bag playback, or what we refer to as slo-mo playback. Using slo-mo to benchmark SLAM instantiations can provide clues to how SLAM implementations should be improved at the computational component level. Three prevalent VO/SLAM algorithms and two low-latency algorithms of our own are tested on selected typical sequences, which are generated from benchmark characterization, to further demonstrate the benefits achieved from computationally efficient components.

研究动机与目标

• 系统分析现有SLAM基准，识别导致跟踪失败或性能下降的最具挑战性的属性。
• 通过时间延展（慢动作）ROS数据包回放，对SLAM组件的计算性能进行分析，以隔离与延迟相关的瓶颈。
• 利用聚类和决策树，量化序列级属性（如运动动力学、时长）与SLAM算法性能之间的关系。
• 通过识别SLAM流水线中的结构性弱点，为未来研究提供指导，优先提升在剧烈运动和长期运行下的鲁棒性。
• 建立一种定量、基于数据的SLAM基准评估方法，替代主观难度标注。

提出的方法

• 对13个基准序列进行元分析，按平台、场景、时长、运动动力学、环境动态性、重访频率和主观难度进行表征。
• 对300个算法-序列观测（3种算法 × 100个序列）应用K-means++聚类，基于轨迹丢失率和相对姿态误差（RPE）将性能划分为四类：失败、低、中、高。
• 基于聚类后的性能数据，为每种SLAM算法构建特定的决策树，以识别影响各SLAM方法成功率的主要序列属性。
• 通过在ROS数据包回放期间引入时间延展（慢动作）实现“慢动作回放”，以测量计算延迟并隔离由处理时间导致的性能极限。
• 汇总所有数据，生成统一的决策树，并与先前分析中主观标注的树进行比较，以验证定量一致性的可靠性。
• 对RPE值进行归一化，并将其上限设为2 m/s，以避免聚类中的偏差，确保性能分类的鲁棒性。

实验结果

研究问题

• RQ1 哪些序列级属性（如运动动力学、时长或场景类型）对SLAM失败或性能下降的影响最为显著？
• RQ2 通过慢动作ROS数据包回放测量的计算延迟如何影响SLAM算法的性能？SLAM流水线中的关键瓶颈出现在何处？
• RQ3 基于定量性能数据（如RPE和轨迹丢失率）训练的决策树，在多大程度上与现有基准中的主观难度标注一致？
• RQ4 不同SLAM算法（DSO、SVO、ORB）在对关键基准属性（如运动动力学和序列长度）的敏感性上存在哪些差异？
• RQ5 当前SLAM流水线中存在哪些主导的结构性弱点，应在未来研究中优先改进以提升感知鲁棒性？

主要发现

• 运动动力学被确定为影响SLAM性能的最关键因素，在算法特定决策树和汇总决策树中均持续排名第一。
• 序列时长对跟踪精度有显著影响，尤其对SVO而言，其对长序列高度敏感，原因在于漂移和地图维护挑战。
• DSO在高运动动力学下发生失败，而ORB保持鲁棒，表明算法设计差异在剧烈运动下对性能有显著影响。
• SVO表现出高度鲁棒性，在其决策树中无任何“失败”叶节点，表明只要初始化成功，即可维持跟踪，尽管长时间序列下精度会下降。
• 基于定量结果生成的汇总决策树与先前分析中主观标注的树结构高度一致，验证了该方法的可靠性。
• 慢动作回放揭示计算延迟是性能下降的关键因素，尤其当处理时间超过帧间隔时更为明显，凸显了对组件级优化的迫切需求。