[论文解读] ATDN vSLAM: An all-through Deep Learning-Based Solution for Visual Simultaneous Localization and Mapping

Mátyás Szántó, György Richárd Bogár+1 more|arXiv (Cornell University)|Jun 13, 2022

Robotics and Sensor-Based Localization参考文献 45被引用 3

一句话总结

该论文提出ATDN vSLAM，一种基于端到端深度学习的视觉SLAM系统，采用模块化架构，以变分UNet为骨干网络，并引入一种新颖的嵌入距离损失（EDL）用于地图编码。在KITTI 00序列上，其平移误差为4.4%，旋转误差为0.0176 deg/m，展现出最先进的性能，且延迟极低（无在线光流时为0.006 s）。

ABSTRACT

In this paper, a novel solution is introduced for visual Simultaneous Localization and Mapping (vSLAM) that is built up of Deep Learning components. The proposed architecture is a highly modular framework in which each component offers state of the art results in their respective fields of vision-based deep learning solutions. The paper shows that with the synergic integration of these individual building blocks, a functioning and efficient all-through deep neural (ATDN) vSLAM system can be created. The Embedding Distance Loss function is introduced and using it the ATDN architecture is trained. The resulting system managed to achieve 4.4% translation and 0.0176 deg/m rotational error on a subset of the KITTI dataset. The proposed architecture can be used for efficient and low-latency autonomous driving (AD) aiding database creation as well as a basis for autonomous vehicle (AV) control.

研究动机与目标

• 开发一种完全端到端的深度学习流水线用于单目视觉SLAM，以克服传统手工设计方法的局限性。
• 将最先进的深度学习组件整合到一个模块化、协同工作的框架中，用于视觉里程计和稠密地图构建。
• 提出一种新颖的损失函数——嵌入距离损失（EDL），以提升地图表征能力和定位精度。
• 实现高效、低延迟的运行，适用于实时自动驾驶应用和众包地图构建。
• 为未来扩展（如回环检测和跨数据集的泛化能力提升）奠定基础。

提出的方法

• 系统采用基于变分UNet的编码器-解码器架构，联合实现视觉里程计与地图编码。
• 使用预训练的GMA网络估算光流，可选择离线或在线处理，以增强运动估计。
• 提出一种新颖的嵌入距离损失（EDL）函数，通过最小化相似关键帧之间的嵌入距离来训练地图编码模块。
• 通过结合光度损失和EDL损失，端到端训练整个框架，并利用预训练光流模型进行迁移学习。
• 架构具备模块化特性，支持灵活集成不同组件（如替代光流估计器）。
• 推理过程经过优化，实现低延迟，在GPU上无在线光流时每帧仅需0.006秒，启用在线光流时为0.27秒。

实验结果

研究问题

• RQ1 完全端到端的深度学习流水线是否能在视觉SLAM任务中实现与当前最先进传统方法相媲美甚至更优的性能？
• RQ2 所提出的嵌入距离损失（EDL）在提升地图表征能力和定位精度方面效果如何？
• RQ3 在引入在线光流估计时，推理速度与精度之间的权衡如何？
• RQ4 该系统在KITTI基准测试的其他序列（除00序列外）上的泛化能力如何？
• RQ5 如何通过模块化设计与迁移学习构建一个可扩展、高效且可扩展的vSLAM框架？

主要发现

• ATDN vSLAM在KITTI 00序列上实现了4.4%的平移误差和0.0176 deg/m的旋转误差，性能达到当前最先进水平。
• 在无在线光流的情况下，系统每帧运行时间仅为0.006秒，展现出极高的效率和极低延迟。
• 启用在线光流后，运行时间增加至0.27秒，但仍可接受于实时应用。
• 定性结果表明，系统生成的轨迹具有可识别性和连贯性，但目前在其他序列上的泛化能力有限。
• 所提出的嵌入距离损失（EDL）通过学习具有判别性的关键帧嵌入，有效实现了高精度重定位。
• 模块化设计使得未来可轻松集成回环检测功能，并支持多GPU并行处理以进一步提升性能。