[论文解读] DeepVO: A Deep Learning approach for Monocular Visual Odometry

Vikram Mohanty, Shubh Agrawal+4 more|arXiv (Cornell University)|Nov 18, 2016

Robotics and Sensor-Based Localization参考文献 31被引用 45

一句话总结

本文提出 DeepVO，一种用于单目视觉里程计的深度学习框架，通过卷积神经网络（CNN）直接从图像对回归相机运动，绕过传统特征检测与跟踪流程。该方法在已知环境中实现实时、具备尺度感知能力的轨迹估计，通过端到端学习相机内参与深度线索，当环境先验可用时，其精度优于几何方法。

ABSTRACT

Deep Learning based techniques have been adopted with precision to solve a lot of standard computer vision problems, some of which are image classification, object detection and segmentation. Despite the widespread success of these approaches, they have not yet been exploited largely for solving the standard perception related problems encountered in autonomous navigation such as Visual Odometry (VO), Structure from Motion (SfM) and Simultaneous Localization and Mapping (SLAM). This paper analyzes the problem of Monocular Visual Odometry using a Deep Learning-based framework, instead of the regular 'feature detection and tracking' pipeline approaches. Several experiments were performed to understand the influence of a known/unknown environment, a conventional trackable feature and pre-trained activations tuned for object classification on the network's ability to accurately estimate the motion trajectory of the camera (or the vehicle). Based on these observations, we propose a Convolutional Neural Network architecture, best suited for estimating the object's pose under known environment conditions, and displays promising results when it comes to inferring the actual scale using just a single camera in real-time.

研究动机与目标

• 解决传统基于特征的单目视觉里程计在尺度模糊性和误差累积方面的局限性。
• 探究深度学习是否能直接从图像序列估计相机位姿，而无需显式特征提取或跟踪。
• 研究环境知识、预训练特征以及先验几何线索（如 FAST）对网络性能的影响。
• 仅使用单个摄像头实现实时、具备尺度感知能力的视觉里程计，克服经典几何方法的关键局限。

提出的方法

• 训练一种自定义的 CNN 架构，以回归连续图像对之间的 6-DoF 相机运动（平移与旋转）。
• 网络以两张连续的 RGB 图像作为输入，输出它们之间的相对变换矩阵。
• 通过在带标签的轨迹数据上进行监督回归训练，使用标准反向传播最小化损失。
• 在三种设置下评估模型：已知环境（带先验）、未知环境（无先验）以及未知环境但使用先验 FAST 特征。
• 测试了预训练 ImageNet 特征（如来自 AlexNet 的特征）作为初始化，但发现其在视觉里程计任务中效果不佳。
• 通过环境特定数据对网络进行微调，以提升泛化能力并减少随时间累积的误差。

实验结果

研究问题

• RQ1 深度 CNN 是否能直接估计单目视觉里程计，而无需依赖特征检测与跟踪流程？
• RQ2 环境先验知识对基于深度学习的视觉里程计系统性能有何影响？
• RQ3 从图像分类任务中预训练的特征能否有效迁移至视觉里程计任务？
• RQ4 在未知环境中添加传统可跟踪特征（如 FAST）作为先验是否能提升性能？
• RQ5 网络能否在无显式深度监督的情况下，从单目序列中学习到尺度信息？

主要发现

• 在已知环境中，网络的轨迹偏差和损失显著降低，且训练与测试损失随迭代过程稳定收敛。
• 在已知环境中，模型能够实时估计真实尺度，这是经典几何方法无法实现的能力。
• 在未知环境中性能显著下降，表明系统对环境特定先验存在强依赖性。
• 在未知环境中添加 FAST 特征作为先验并未提升性能，表明网络能自主学习到类似的特征。
• 预训练的 ImageNet 特征在视觉里程计任务中泛化能力差，表明领域特定的特征学习至关重要。
• 在长序列中误差随时间累积漂移，表明需要引入循环机制以纠正累积误差。