[论文解读] DXSLAM: A Robust and Efficient Visual SLAM System with Deep Features

Dongjiang Li, Xuesong Shi+6 more|arXiv (Cornell University)|Aug 12, 2020

Robotics and Sensor-Based Localization参考文献 40被引用 9

一句话总结

DXSLAM 提出了一种无需 GPU 的实时视觉 SLAM 系统，利用深度卷积神经网络（CNN）提取局部和全局特征，以提升在动态和变化环境中的鲁棒性。通过将最先进的 CNN（HF-Net）与 Intel OpenVINO 优化结合，并使用 Fast BoW 实现回环检测，该系统在仅使用 CPU 的平台上实现了比 ORB-SLAM2 和 DS-SLAM 更低的轨迹误差和更高的重定位成功率，运行速度约为 15 Hz。

ABSTRACT

A robust and efficient Simultaneous Localization and Mapping (SLAM) system is essential for robot autonomy. For visual SLAM algorithms, though the theoretical framework has been well established for most aspects, feature extraction and association is still empirically designed in most cases, and can be vulnerable in complex environments. This paper shows that feature extraction with deep convolutional neural networks (CNNs) can be seamlessly incorporated into a modern SLAM framework. The proposed SLAM system utilizes a state-of-the-art CNN to detect keypoints in each image frame, and to give not only keypoint descriptors, but also a global descriptor of the whole image. These local and global features are then used by different SLAM modules, resulting in much more robustness against environmental changes and viewpoint changes compared with using hand-crafted features. We also train a visual vocabulary of local features with a Bag of Words (BoW) method. Based on the local features, global features, and the vocabulary, a highly reliable loop closure detection method is built. Experimental results show that all the proposed modules significantly outperforms the baseline, and the full system achieves much lower trajectory errors and much higher correct rates on all evaluated data. Furthermore, by optimizing the CNN with Intel OpenVINO toolkit and utilizing the Fast BoW library, the system benefits greatly from the SIMD (single-instruction-multiple-data) techniques in modern CPUs. The full system can run in real-time without any GPU or other accelerators. The code is public at https://github.com/ivipsourcecode/dxslam.

研究动机与目标

• 开发一种在复杂、变化环境中克服手工特征局限性的鲁棒且高效的视觉 SLAM 系统。
• 实现在无 GPU 加速的仅 CPU 移动平台上的深度特征驱动 SLAM 系统的实时运行。
• 通过结合深度局部与全局特征及一种新型视觉词典，提升回环检测与重定位性能。
• 利用 Intel OpenVINO 和 Fast BoW 优化深度特征提取与基于 BoW 的检索，实现在现代 CPU 上的高效运行。
• 证明深度特征在轨迹精度和重定位成功率方面显著提升 SLAM 性能。

提出的方法

• 系统使用 HF-Net（一种最先进的 CNN）从每一帧中提取局部关键点描述符和全局图像描述符。
• 局部特征用于姿态跟踪和局部建图，而全局特征则实现鲁棒的图像检索与重定位。
• 通过在深度局部特征上使用词袋（BoW）方法训练一种新型视觉词典，以提升回环检测性能。
• 回环检测结合全局特征相似性与局部特征匹配，以提高可靠性。
• 重定位通过基于全局特征的图像检索，随后进行局部特征的分组匹配，以提升成功率并减少计算量。
• 整个系统通过 Intel OpenVINO 进行 CPU 推理优化，并结合 Fast BoW 实现高效检索，从而实现在低功耗 CPU 上的实时性能。

实验结果

研究问题

• RQ1 基于深度 CNN 的特征是否能显著提升视觉 SLAM 系统在动态和视角变化环境中的鲁棒性？
• RQ2 基于深度特征的 SLAM 系统是否能在无 GPU 加速的仅 CPU 平台上实现实时运行？
• RQ3 与手工特征相比，结合局部与全局深度特征在回环检测与重定位方面有何提升？
• RQ4 通过 OpenVINO 和 Fast BoW 优化，能否显著降低推理延迟并在低功耗硬件上实现实时运行？
• RQ5 基于深度局部特征学习的视觉词典是否相比传统 BoW 方法能提升回环检测的准确性？

主要发现

• DXSLAM 在 fr3_walking_static 数据集上的轨迹误差显著低于 ORB-SLAM2 和 DS-SLAM，ATE RMSE 为 0.0167m，而 ORB-SLAM2 为 0.3900m。
• 在 fr3_sitting_static 数据集上，系统将 ATE RMSE 降低至 0.0068m，优于 ORB-SLAM2 和 DS-SLAM。
• DXSLAM 在 OpenLORIS-Scene 数据集上实现了 98.5% 的重定位成功率，显著优于基线 BoW 方法。
• 通过 OpenVINO 优化，HF-Net 在 CPU 上的推理时间降低至每帧 46.2ms（21.6 FPS），在 Intel NUC 上实现约 15 Hz 的实时运行。
• 与非增量训练相比，增量视觉词典训练方法在所有测试序列中均提升了重定位与姿态估计的准确性，正确估计数量更多。
• 系统在 15W CPU 上无需任何 GPU 或加速器即可实时运行，证明其在移动机器人部署中的可行性。