[论文解读] Comparison of modern open-source visual SLAM approaches

Dinar Sharafutdinov, Mark Griguletskii+6 more|arXiv (Cornell University)|Aug 3, 2021

Robotics and Sensor-Based Localization被引用 4

一句话总结

本文对11种现代开源视觉SLAM系统（包括ORB-SLAM3、VINS-Mono、OpenVSLAM和Kimera）进行了全面的对比分析，评估其在不同数据集上的定位精度、计算效率、鲁棒性和容错能力。主要发现是ORB-SLAM3由于其先进的地图融合与场景重识别技术，在大多数环境中表现出卓越且一致的性能。然而，没有单一算法在所有情况下都占绝对优势，且由于文档不一致和支持不足，可复现性仍是关键挑战。

ABSTRACT

SLAM is one of the most fundamental areas of research in robotics and computer vision. State of the art solutions has advanced significantly in terms of accuracy and stability. Unfortunately, not all the approaches are available as open-source solutions and free to use. The results of some of them are difficult to reproduce, and there is a lack of comparison on common datasets. In our work, we make a comparative analysis of state of the art open-source methods. We assess the algorithms based on accuracy, computational performance, robustness, and fault tolerance. Moreover, we present a comparison of datasets as well as an analysis of algorithms from a practical point of view. The findings of the work raise several crucial questions for SLAM researchers.

研究动机与目标

• 评估并比较最先进的开源视觉SLAM算法在定位精度、计算性能、鲁棒性和容错能力方面的表现。
• 基于实现质量、文档和维护支持，识别最适合实际机器人应用的实用且可靠的SLAM解决方案。
• 突出SLAM研究中的可复现性危机，强调尽管理论结果强劲，但稳定、良好文档化且可维护的实现仍严重缺乏。
• 为研究人员和工程师提供实用建议，根据环境条件和硬件限制选择合适的SLAM系统。
• 倡导采用标准化数据格式、Docker容器和ROS封装，以提升SLAM研究中的可复现性和互操作性。

提出的方法

• 本研究评估了11个开源视觉SLAM框架：ORB-SLAM2/3、MapLab、LDSO、VINS-Mono、VINS-Fusion、OpenVSLAM、Basalt、Kimera、OpenVINS和DRE-SLAM。
• 算法在多个基准数据集上进行评估，包括EuRoC MAV、TUM VI和KITTI，涵盖室内、室外和动态环境。
• 评估指标包括定位精度（使用ATE和RPE）、计算负载（FPS）、内存使用量，以及对异常值和传感器噪声的鲁棒性。
• 作者分析了每种系统的实际可用性，包括文档可用性、示例代码、Docker和ROS支持，以及参数调优的难易程度。
• 对数据集进行了对比分析，以评估其在评估不同SLAM挑战（如动态物体和大规模地图构建）方面的适用性。
• 本研究强调了统一数据格式和标准化真实值的重要性，指出缺少时间戳（如KITTI数据集中）会严重阻碍跨算法比较。

实验结果

研究问题

• RQ1 在多种真实世界环境中，哪种开源视觉SLAM系统能实现最高的定位精度？
• RQ2 计算效率、内存使用量和鲁棒性在不同SLAM架构和数据集之间如何变化？
• RQ3 文档质量、Docker/ROS支持以及活跃维护在多大程度上影响SLAM系统的可复现性和实际采用？
• RQ4 为何一些高性能SLAM方法尽管在论文中理论结果出色，却仍难以被复现？
• RQ5 标准化数据集、一致的真实值格式和容器化部署在多大程度上能提升视觉SLAM研究的可复现性？

主要发现

• ORB-SLAM3在多个数据集上持续优于其他系统，尤其得益于其先进的地图融合与场景重识别技术。
• VINS-Mono和VINS-Fusion在动态环境和无GPS环境下表现优异，尤其在融合IMU数据时。
• OpenVSLAM因代码与ORB-SLAM2高度相似而被终止维护，尽管其性能出色且设计用户友好。
• 许多高性能SLAM系统因文档差、缺乏示例和仓库长期不活跃而在实际中无法使用，凸显了可复现性危机。
• 缺乏标准化数据格式——尤其是KITTI等数据集中缺少时间戳——显著阻碍了跨算法比较和可复现性。
• 强烈建议使用Docker容器和ROS封装，以确保一致的软件环境，并提升不同硬件配置下的可复现性。