[论文解读] DF-VO: What Should Be Learnt for Visual Odometry?

Huangying Zhan, Chamara Saroj Weerasekera+3 more|arXiv (Cornell University)|Mar 1, 2021

Advanced Vision and Imaging参考文献 55被引用 26

一句话总结

DF-VO 将深度预测与光流预测结合多视几何，解决单目视觉里程计中的尺度漂移和动态图像问题，在 KITTI 数据集上达到最先进的结果。

ABSTRACT

Multi-view geometry-based methods dominate the last few decades in monocular Visual Odometry for their superior performance, while they have been vulnerable to dynamic and low-texture scenes. More importantly, monocular methods suffer from scale-drift issue, i.e., errors accumulate over time. Recent studies show that deep neural networks can learn scene depths and relative camera in a self-supervised manner without acquiring ground truth labels. More surprisingly, they show that the well-trained networks enable scale-consistent predictions over long videos, while the accuracy is still inferior to traditional methods because of ignoring geometric information. Building on top of recent progress in computer vision, we design a simple yet robust VO system by integrating multi-view geometry and deep learning on Depth and optical Flow, namely DF-VO. In this work, a) we propose a method to carefully sample high-quality correspondences from deep flows and recover accurate camera poses with a geometric module; b) we address the scale-drift issue by aligning geometrically triangulated depths to the scale-consistent deep depths, where the dynamic scenes are taken into account. Comprehensive ablation studies show the effectiveness of the proposed method, and extensive evaluation results show the state-of-the-art performance of our system, e.g., Ours (1.652%) v.s. ORB-SLAM (3.247%}) in terms of translation error in KITTI Odometry benchmark. Source code is publicly available at: \href{https://github.com/Huangying-Zhan/DF-VO}{DF-VO}.

研究动机与目标

• 提出一个稳健的单目视觉里程计系统，结合深度学习与几何信息。
• 从密集光流中采样高质量的对应点，以获得可靠的位姿估计。
• 利用尺度一致的深度预测来恢复并在长序列中维持全局尺度。
• 通过迭代尺度恢复和鲁棒的对应点选择来处理动态图像场景。
• 提供一个在基本矩阵几何与基于 PnP 的跟踪之间的混合跟踪器选择框架。

提出的方法

• 为每对图像对预测密集光流和单视图深度。
• 使用前向-后向光流一致性来选择高质量的 2D-2D 对应。
• 用两种跟踪器估计运动：基于极几何的 E-跟踪器和基于 PnP 的跟踪器。
• 通过将三角化深度与尺度一致的网络深度对齐来恢复尺度，并针对动态情况进行迭代细化。
• 使用几何鲁棒信息准则（GRIC）在两种跟踪器之间进行选择，并应用 RANSAC 提高鲁棒性。
• 在自监督框架中通过光度一致性和深度一致性损失训练深度和位姿网络。

实验结果

研究问题

• RQ1 如何将深度和光流的预测与经典的多视几何集成，以实现稳健的单目视觉里程计？
• RQ2 通过将三角化的深度与尺度一致的深度预测对齐，是否能减轻尺度漂移？
• RQ3 在单目视觉里程计中，哪些策略能够最好地处理动态图像场景，以在长轨迹中保持精准？
• RQ4 采用基于 GRIC 的模型选择的混合 E-tracker 与 PnP-tracker，相较于使用单一几何模型，是否能提升鲁棒性？
• RQ5 在高度动态的环境中，迭代尺度恢复的表现如何？

主要发现

• DF-VO 在 KITTI Odometry 的平移误差达到最先进水平，为 1.652%，ORB-SLAM 为 3.247%。
• 基于双向光流一致性的采样方案提高了 2D-2D 对应的质量。
• 尺度一致的深度预测使尺度恢复和在长序列中的跟踪具有鲁棒性。
• 通过筛选深度-光流对以保持一致性，迭代尺度恢复方法在动态图像场景中提升了性能。
• 基于 GRIC 的模型选择能在 E-跟踪器和 PnP 跟踪器之间有效切换，避免简并。
• 全面的消融研究证明了所提组件的有效性。