[论文解读] DF-SLAM: A Deep-Learning Enhanced Visual SLAM System based on Deep Local Features

Rong Kang, Jieqi Shi+3 more|arXiv (Cornell University)|Jan 22, 2019

Robotics and Sensor-Based Localization参考文献 53被引用 33

一句话总结

DF-SLAM 用学习到的深度描述符替代手工设计的局部特征，通过一个浅层网络，实现实时SLAM，在具有挑战性的场景中提高鲁棒性和效率。

ABSTRACT

As the foundation of driverless vehicle and intelligent robots, Simultaneous Localization and Mapping(SLAM) has attracted much attention these days. However, non-geometric modules of traditional SLAM algorithms are limited by data association tasks and have become a bottleneck preventing the development of SLAM. To deal with such problems, many researchers seek to Deep Learning for help. But most of these studies are limited to virtual datasets or specific environments, and even sacrifice efficiency for accuracy. Thus, they are not practical enough. We propose DF-SLAM system that uses deep local feature descriptors obtained by the neural network as a substitute for traditional hand-made features. Experimental results demonstrate its improvements in efficiency and stability. DF-SLAM outperforms popular traditional SLAM systems in various scenes, including challenging scenes with intense illumination changes. Its versatility and mobility fit well into the need for exploring new environments. Since we adopt a shallow network to extract local descriptors and remain others the same as original SLAM systems, our DF-SLAM can still run in real-time on GPU.

研究动机与目标

• 促使用学习到的局部特征替代非几何性 SLAM 模块，以改进数据关联和鲁棒性。
• 证明一个浅层神经描述符可以替代传统特征而不牺牲实时性能。
• 展示 DF-SLAM 在多样数据集上相比传统 SLAM 系统具有更高的效率和稳定性。

提出的方法

• 使用基于浅层 TFeat 的三元组网络，为关键点补丁生成 128 维的 L2 归一化局部描述符。
• 在标准 SLAM 流程中用学习到的深度描述符替代传统描述符（如 ORB、SIFT）。
• 使用在 DF-Descriptors 上训练的词袋视觉词汇（DBoW），以实现快速帧检索和重定位/回环闭合。
• 保持原始 SLAM 流程结构（跟踪、局部建图、回环关闭），以保持可比性和效率。
• 通过保持描述符提取器轻量化并利用 GPU 加速，确保实时性能。

实验结果

研究问题

• RQ1 学习到的局部特征描述符能否在经典 SLAM 流程中替代手工特征且不损失实时性能？
• RQ2 基于浅层网络的描述符是否提高数据关联、对光照/纹理变化的鲁棒性以及回环闭合的稳定性？
• RQ3 在不同数据集上使用 DF-SLAM 描述符对定位精度和系统稳定性有何影响？
• RQ4 在具有挑战性的条件（光照变化、低纹理）以及有无回环关闭的情况下，DF-SLAM 相较传统的 ORB-SLAM2 有何比较？

主要发现

• DF-SLAM 在 GPU 上以 10–15 帧每秒运行，单帧描述符提取时间为 0.09 s（1200 个关键点）。
• 在 HPatches 基准测试中，学习到的描述符在匹配、检索和验证任务中优于传统描述符。
• 在 EuRoC 与 TUM 数据集上，DF-SLAM 显示出更强的鲁棒性和稳定性，尤其是在缺少闭环的序列或具有挑战性光照和运动条件的序列中。
• DF-SLAM 达到或优于 ORB-SLAM2 的精度，并在长时间、回环稀疏的轨迹上显示出更小的漂移，同时保持实时运行。
• 一个浅层描述符网络（两层卷积加上 128-D 输出）配合困难负样本挖掘（HardTFeat_HD）相比基线 TFeat 提高了匹配性能。