[论文解读] Deep Learning for Visual Localization and Mapping: A Survey

Changhao Chen, Bing Wang+3 more|arXiv (Cornell University)|Aug 27, 2023

Robotics and Sensor-Based Localization被引用 4

一句话总结

本综述全面梳理并分析了基于深度学习的视觉定位与建图方法，涵盖视觉里程计、全局重定位、建图及SLAM。它评估了深度学习在提升传统方法鲁棒性与精度方面的潜力，同时指出了在资源受限系统上部署时的关键挑战，包括可扩展性、可解释性与效率问题。

ABSTRACT

Deep learning based localization and mapping approaches have recently emerged as a new research direction and receive significant attentions from both industry and academia. Instead of creating hand-designed algorithms based on physical models or geometric theories, deep learning solutions provide an alternative to solve the problem in a data-driven way. Benefiting from the ever-increasing volumes of data and computational power on devices, these learning methods are fast evolving into a new area that shows potentials to track self-motion and estimate environmental model accurately and robustly for mobile agents. In this work, we provide a comprehensive survey, and propose a taxonomy for the localization and mapping methods using deep learning. This survey aims to discuss two basic questions: whether deep learning is promising to localization and mapping; how deep learning should be applied to solve this problem. To this end, a series of localization and mapping topics are investigated, from the learning based visual odometry, global relocalization, to mapping, and simultaneous localization and mapping (SLAM). It is our hope that this survey organically weaves together the recent works in this vein from robotics, computer vision and machine learning communities, and serves as a guideline for future researchers to apply deep learning to tackle the problem of visual localization and mapping.

研究动机与目标

• 评估深度学习相较于传统基于模型的方法，在视觉定位与建图中是否具有前景。
• 识别并分类应用于视觉里程计、全局重定位、建图与SLAM的关键深度学习技术。
• 分析当前基于深度学习方法的局限性，包括泛化能力、可解释性与计算成本。
• 通过突出真实世界部署、可扩展性、安全性及边缘设备上的模型效率等开放性挑战，为未来研究提供指导。

提出的方法

• 提出一种针对基于深度学习的视觉定位与建图的结构化分类体系，按任务组织方法：视觉里程计、全局重定位、建图与SLAM。
• 综述数据驱动方法，这些方法从大规模数据集中学习特征表示与隐式神经映射，替代手工设计的几何模型。
• 研究利用新视角合成的自监督学习技术，通过未标注视频生成姿态与深度估计的监督信号。
• 整合学习到的深度估计以解决单目SLAM中的尺度模糊问题，提升绝对姿态估计的精度。
• 探索不确定性估计与置信度度量，以增强关键应用中的可靠性与安全性。
• 分析模型精度、大小、推理速度与硬件约束之间的权衡，倡导在边缘部署中采用高效网络设计。

Figure 1 : A localization and mapping system exploits on-board sensors to perceive self-motion, global pose, scene geometry, and semantics. (a) Traditional model-based solutions employ hand-designed algorithms to transform input sensor data into desired output values. (c) Data-driven solutions, on t

实验结果

研究问题

• RQ1 与经典几何方法相比，深度学习在多大程度上能提升视觉定位与建图的精度与鲁棒性？
• RQ2 如何利用自监督学习与神经隐式表示来减少视觉SLAM中对标注数据的依赖？
• RQ3 基于深度学习的方法在真实世界部署中的关键局限性是什么，特别是计算成本、模型大小与能效方面？
• RQ4 如何将可解释性与不确定性量化集成到深度学习模型中，以增强自主系统中的安全性与可靠性？
• RQ5 模型性能、泛化能力与效率之间存在何种权衡？如何针对移动与可穿戴平台的部署进行优化？

主要发现

• 基于深度学习的方法在弱光、动态场景等复杂条件下显著提升了鲁棒性与精度，优于传统几何方法。
• 利用新视角合成的自监督学习可实现SLAM系统的端到端训练，无需真实姿态或深度监督，且在基准数据集上达到具有竞争力的性能。
• 利用学习到的深度估计可解决单目SLAM中的尺度模糊问题，使无需外部传感器即可实现绝对姿态估计成为可能。
• 深度模型中的不确定性估计可提供置信度度量，用于标记不可靠预测，从而提升关键应用中的系统安全性。
• 尽管精度较高，基于深度学习的模型通常在分布外环境中的泛化能力较差，且对计算资源需求较高，尤其在边缘设备上更为明显。
• 当前方法在可扩展性方面仍受限，多数方法仅在城市或室内场景中测试，极少能实现大规模、复杂环境的重建。

Figure 2 : The taxonomy of deep learning based visual localization and mapping. Individual modules can be integrated together into a complete deep learning based SLAM system. It is not mandatory to include all modules for the system to function effectively. In the diagram, rounded rectangles represe