[论文解读] SLAMBench2: Multi-Objective Head-to-Head Benchmarking for Visual SLAM

Bruno Bodin, Harry Wagstaff+10 more|arXiv (Cornell University)|Aug 21, 2018

Robotics and Sensor-Based Localization参考文献 29被引用 16

一句话总结

SLAMBench2 是一个公开可用、可扩展的基准测试框架，支持在多种数据集、算法和硬件平台上对视觉 SLAM 系统进行可复现的多目标比较。它支持八种最先进的 SLAM 算法（包括 ORB-SLAM2、KinectFusion、ElasticFusion 和 InfiniTAM），采用标准化指标（如精度（ATE）、内存占用和执行时间），揭示了关键权衡关系：ORB-SLAM2 在仅使用 CPU 的平台上实现了 30 cm 的平均 ATE 和两倍于 GPU 加速版本的运行速度，表现出良好的性能平衡。

ABSTRACT

SLAM is becoming a key component of robotics and augmented reality (AR) systems. While a large number of SLAM algorithms have been presented, there has been little effort to unify the interface of such algorithms, or to perform a holistic comparison of their capabilities. This is a problem since different SLAM applications can have different functional and non-functional requirements. For example, a mobile phonebased AR application has a tight energy budget, while a UAV navigation system usually requires high accuracy. SLAMBench2 is a benchmarking framework to evaluate existing and future SLAM systems, both open and close source, over an extensible list of datasets, while using a comparable and clearly specified list of performance metrics. A wide variety of existing SLAM algorithms and datasets is supported, e.g. ElasticFusion, InfiniTAM, ORB-SLAM2, OKVIS, and integrating new ones is straightforward and clearly specified by the framework. SLAMBench2 is a publicly-available software framework which represents a starting point for quantitative, comparable and validatable experimental research to investigate trade-offs across SLAM systems.

研究动机与目标

• 为解决视觉 SLAM 系统缺乏标准化、可比较且可复现的评估问题，这些问题源于接口不一致、数据集、硬件和参数配置的差异。
• 通过提供统一、即插即用的基准测试环境，减少在比较 SLAM 算法时的重复工程工作量。
• 实现对开源和专有 SLAM 系统之间公平、可量化且可验证的性能比较。
• 通过定义良好的 API 支持可扩展性，使新算法和数据集的集成仅需极少工作量。
• 促进对不同 SLAM 系统和平台之间精度、内存消耗和计算效率之间权衡关系的多目标分析。

提出的方法

• 该框架提供模块化、与数据集无关的架构，通过标准化 API 支持多种 SLAM 算法，实现跨不同系统的统一评估。
• 它集成了八种最先进的 SLAM 算法：稀疏方法（如 ORB-SLAM2、PTAM）、半稠密方法（如 InfiniTAM）和稠密方法（如 KinectFusion、ElasticFusion）。
• 评估在八个数据集（包括 ICL-NUIM 和 TUM 序列）上进行，使用三项核心指标：绝对轨迹误差（ATE）、内存消耗和执行时间。
• 该框架支持 CPU 和 GPU 执行，结果通过小提琴图可视化，展示不同数据集和平台上的指标变化情况。
• 新算法通过轻量级库接口集成，仅需约 350 行代码（如 ORB-SLAM2）即可完成，包括参数声明和配置函数。
• 通过确保所有算法使用相同的输入格式、标定参数和配置设置，系统支持端到端的比较，最大限度减少配置偏差。

实验结果

研究问题

• RQ1 在不同数据集和硬件平台上，不同视觉 SLAM 算法在精度、内存使用和执行时间方面的表现如何？
• RQ2 在最先进的 SLAM 系统中，计算效率与定位精度之间的权衡关系是什么？
• RQ3 在不改变架构的前提下，参数调优能在多大程度上提升性能？这种提升在不同算法间是否存在差异？
• RQ4 基于 CPU 的 SLAM 系统（如 ORB-SLAM2）与 GPU 加速系统（如 KinectFusion 和 ElasticFusion）的性能相比如何？
• RQ5 统一的基准测试框架在减少 SLAM 系统比较的工程开销的同时，能否确保可复现性和有效性？

主要发现

• ORB-SLAM2 在多个数据集上实现了 30 cm 的平均绝对轨迹误差（ATE），在仅使用 CPU 的平台上表现出较强的精度。
• KinectFusion 和 InfiniTAM 展现出静态内存消耗，而 ORB-SLAM2 的内存使用在所有数据集中均被限制在 300 MB 以内。
• ElasticFusion 表现出更优的精度，最大漂移仅为 30 cm，优于 KinectFusion 和 InfiniTAM，后者在某些数据集上漂移可达 60 cm。
• 在 TK1 平台上，ORB-SLAM2 的运行速度仅为 KinectFusion 的两倍，尽管其运行在 CPU 上，凸显了其作为 CPU 优化方案的高效性。
• 参数调优可使性能相比默认配置提升最高达 8 倍，表明通过配置优化可释放显著的性能潜力。
• 该框架实现了对 8 个数据集和 3 项指标的 SLAM 系统之间直接、公平的比较，揭示了 ORB-SLAM2 在 CPU 平台上兼具精度与速度的优良权衡。