[论文解读] CamVox: A Low-cost and Accurate Lidar-assisted Visual SLAM System

Yuewen Zhu, Chunran Zheng+3 more|arXiv (Cornell University)|Nov 23, 2020

Robotics and Sensor-Based Localization参考文献 18被引用 10

一句话总结

CamVox 提出了一种低成本、实时的视觉 SLAM 系统，通过将 ORB-SLAM2 与 Livox 激光雷达融合，提升了大规模室外环境中定位的精度与鲁棒性。通过利用 Livox 激光雷达非重复扫描模式的特性，该系统可在非受控场景中实现自动相机-激光雷达标定，并在相同数据集上实现了最先进的轨迹精度，平均 APE 为 1.7m，优于 VINS-mono 和 LOAM。

ABSTRACT

Combining lidar in camera-based simultaneous localization and mapping (SLAM) is an effective method in improving overall accuracy, especially at a large scale outdoor scenario. Recent development of low-cost lidars (e.g. Livox lidar) enable us to explore such SLAM systems with lower budget and higher performance. In this paper we propose CamVox by adapting Livox lidars into visual SLAM (ORB-SLAM2) by exploring the lidars' unique features. Based on the non-repeating nature of Livox lidars, we propose an automatic lidar-camera calibration method that will work in uncontrolled scenes. The long depth detection range also benefit a more efficient mapping. Comparison of CamVox with visual SLAM (VINS-mono) and lidar SLAM (LOAM) are evaluated on the same dataset to demonstrate the performance. We open sourced our hardware, code and dataset on GitHub.

研究动机与目标

• 通过将 Livox 激光雷达与视觉 SLAM（ORB-SLAM2）集成，开发一种低成本、高精度的 SLAM 系统，用于大规模室外地图构建。
• 解决在非受控真实场景中，利用 Livox 激光雷达独特的非重复扫描模式，实现自动相机-激光雷达标定的挑战。
• 通过利用 Livox 激光雷达的长探测距离（最远 260m）和高精度，提升深度估计与地图构建效率。
• 在嵌入式平台（Manifold 2C）上实现实时性能，同时保持高轨迹精度。
• 通过发布硬件、代码和数据集，为研究人员和开发者提供开箱即用的开源解决方案。

提出的方法

• 通过预处理流程融合激光雷达与相机数据，利用 IMU 数据校正激光雷达点云畸变，并通过时间同步标定将点云转换至相机坐标系。
• 利用 Livox 激光雷达的非重复扫描模式，实现在无需受控标定环境下的自动、类图像式相机-激光雷达标定。
• 应用深度阈值（默认 130m）对关键点进行分类，以提升特征跟踪与地图构建效率。
• 将激光雷达获取的深度测量值集成至 ORB-SLAM2 中，以增强特征跟踪、地图构建和回环检测的性能，同时提升尺度精度。
• 在机载 Manifold 2C 系统上实现实时处理，配备 4 核 Intel i7-8550U，实现 10 Hz 相机输入和小于 250ms 的地图构建延迟。
• 采用自定义的 PCD 转深度图模块，从激光雷达点云生成密集深度图，以支持视觉 SLAM 的集成。

Figure 1: Example of CamVox performance. (a) the trajectory of the robot from CamVox; (b) the dense RGBD map from CamVox; (c) a magnified and rotated part of (b) demonstrating high point cloud quality.

实验结果

研究问题

• RQ1 Livox 激光雷达的非重复扫描模式是否能够在非受控的室外场景中实现自动、鲁棒的相机-激光雷达标定？
• RQ2 与单目或双目视觉 SLAM 相比，高距离、高精度激光雷达数据的集成如何提升视觉 SLAM 在大规模室外环境中的性能？
• RQ3 在激光雷达辅助的视觉 SLAM 中，用于分类‘近’关键点的最优深度阈值是什么，以最大化特征跟踪与地图构建效率？
• RQ4 在真实条件下，CamVox 系统在轨迹精度方面相较于主流 SLAM 框架（如 VINS-mono、LOAM）的性能提升程度如何？
• RQ5 低成本激光雷达辅助 SLAM 系统是否能在嵌入式硬件上实现实时性能，同时保持高精度与鲁棒性？

主要发现

• 自动相机-激光雷达标定方法的标定误差约为 5.88，与最佳人工标定结果（5.88）极为接近，证明了在非受控场景中具有极高的标定精度。
• 在 SUSTech 数据集上，系统实现了 1.7m 的平均绝对位姿误差（APE），显著优于 VINS-mono（6.7m）和 livox_horizon_loam（6.2m）。
• 采用 130m 深度阈值对近处关键点进行分类，可最大化特征跟踪效果，与较低阈值相比，第 5 帧的匹配点数量提升了 58%。
• CamVox 在机载 Manifold 2C 系统上实现了实时性能，处理时间分别为：跟踪（42.27ms）、地图构建（252.41ms）和回环检测（7821.22ms），满足实时运行要求。
• 系统生成了高质量的密集 RGBD 地图，最大尺度可达 200 米，如图 1 所示，即使在强阳光下也保持了高精度的点云质量。
• 时序分析表明，尽管标定耗时 58.16 秒，但由于其仅在静止阶段执行，频率较低，因此不构成性能瓶颈，有效保障了实时性能。

Figure 2: Point cloud density of three Livox lidar models compared to traditional lidars as a function of integration time.