[论文解读] Deep Global-Relative Networks for End-to-End 6-DoF Visual Localization and Odometry

Yimin Lin, Zhaoxiang Liu+6 more|arXiv (Cornell University)|Dec 19, 2018

Robotics and Sensor-Based Localization参考文献 25被引用 10

一句话总结

本文提出了一种新颖的端到端深度学习框架——深度全局-相对网络（Deep Global-Relative Networks），通过融合循环卷积神经网络（RCNNs）进行相对位姿和全局位姿估计，以提升单目6-DoF视觉定位与里程计性能。通过联合优化交叉变换约束（CTC）和均方误差（MSE），该方法显著减少了轨迹漂移，并在KITTI和7-Scenes数据集上实现了最先进（SOTA）的精度表现，相较于DeepVO在平移精度上提升了71%，在旋转精度上提升了76%。

ABSTRACT

Although a wide variety of deep neural networks for robust Visual Odometry (VO) can be found in the literature, they are still unable to solve the drift problem in long-term robot navigation. Thus, this paper aims to propose novel deep end-to-end networks for long-term 6-DoF VO task. It mainly fuses relative and global networks based on Recurrent Convolutional Neural Networks (RCNNs) to improve the monocular localization accuracy. Indeed, the relative sub-networks are implemented to smooth the VO trajectory, while global subnetworks are designed to avoid drift problem. All the parameters are jointly optimized using Cross Transformation Constraints (CTC), which represents temporal geometric consistency of the consecutive frames, and Mean Square Error (MSE) between the predicted pose and ground truth. The experimental results on both indoor and outdoor datasets show that our method outperforms other state-of-the-art learning-based VO methods in terms of pose accuracy.

研究动机与目标

• 解决基于学习的方法在长期单目视觉里程计中因误差累积导致的持续漂移问题。
• 通过在端到端框架中联合建模相对运动与全局场景识别，提升6-DoF视觉定位的精度。
• 克服先前方法（如VLocNet）中全局与相对网络分别优化的局限性。
• 通过时间几何一致性与三维结构约束学习，增强在复杂环境下的鲁棒性。
• 在端到端训练过程中保持绝对尺度，以实现精确的长距离位姿估计。

提出的方法

• 该架构集成了基于CNN的特征提取子网络（CNN1）、相对位姿RCNN（RCNN1）、全局位姿RCNN（RCNN2）以及全连接融合层（FCFL），用于融合两种特征流。
• 相对位姿估计通过RCNN1实现，利用连续的RGB帧建模自身运动并约束运动空间。
• 全局位姿回归通过RCNN2实现，该网络利用长期上下文信息建模环境的三维结构约束。
• 提出一种新颖的交叉变换约束（CTC）损失，以在批量处理中强制连续帧之间的时间几何一致性。
• 通过联合优化CTC损失与预测位姿和真实位姿之间的均方误差（MSE），实现端到端训练。
• 模型以时间序列长度K进行端到端训练，旨在提升在多样化场景下的稳定性与泛化能力。

实验结果

研究问题

• RQ1 联合优化相对位姿与全局位姿网络是否能减少单目视觉里程计中的轨迹漂移？
• RQ2 通过CTC损失引入时间几何一致性，是否能提升长序列中的位姿估计精度？
• RQ3 融合相对运动与全局场景识别如何提升在复杂环境中的定位鲁棒性？
• RQ4 在端到端训练中，平衡精度与泛化能力的最优时间序列长度K是多少？
• RQ5 所提方法是否能保持绝对尺度，并优于当前最先进（SOTA）的基于学习的视觉里程计方法？

主要发现

• 在KITTI数据集上，该方法相较于DeepVO在平移精度上提升了71%，在旋转精度上提升了76%。
• 该模型在KITTI和7-Scenes两个数据集上均达到最先进性能，展现出在长距离位姿估计中卓越的精度与稳定性。
• 消融实验证实，融合全局与相对网络的性能显著优于仅使用任一模态的单独网络。
• 当时间序列长度K = 5时性能达到最优，进一步增加K会导致收益递减并提升过拟合风险。
• CTC损失有效提升了时间一致性，使轨迹更加平滑且精确，优于基线方法。
• 该模型在端到端训练过程中成功保持了绝对尺度，从而实现了精确的长期定位。