[论文解读] Deep Patch Visual Odometry

Zachary Teed, Lahav Lipson+1 more|arXiv (Cornell University)|Aug 8, 2022

Robotics and Sensor-Based Localization被引用 40

一句话总结

DPVO 引入一个稀疏基于补丁的循环神经网络用于单目视觉里程计，具有可微分的束束调整，达到最先进的精度，同时相比先前方法使用更少的内存并运行更快。

ABSTRACT

We propose Deep Patch Visual Odometry (DPVO), a new deep learning system for monocular Visual Odometry (VO). DPVO uses a novel recurrent network architecture designed for tracking image patches across time. Recent approaches to VO have significantly improved the state-of-the-art accuracy by using deep networks to predict dense flow between video frames. However, using dense flow incurs a large computational cost, making these previous methods impractical for many use cases. Despite this, it has been assumed that dense flow is important as it provides additional redundancy against incorrect matches. DPVO disproves this assumption, showing that it is possible to get the best accuracy and efficiency by exploiting the advantages of sparse patch-based matching over dense flow. DPVO introduces a novel recurrent update operator for patch based correspondence coupled with differentiable bundle adjustment. On Standard benchmarks, DPVO outperforms all prior work, including the learning-based state-of-the-art VO-system (DROID) using a third of the memory while running 3x faster on average. Code is available at https://github.com/princeton-vl/DPVO

研究动机与目标

• 在不进行大量密集光流计算的情况下，推动鲁棒的单目 VO。
• 开发一种保留鲁棒性的稀疏补丁表示。
• 设计一个带有可微分束束调整的循环更新算子以实现端到端学习。
• 展示相对于先前的基于学习的 VO/SLAM 方法在效率和精度上的改进。

提出的方法

• 用一组图像补丁及将补丁与帧连接的补丁图来表示场景。
• 使用一对 CNN 提取多尺度补丁特征以用于匹配和上下文。
• 使用带相关性、时序卷积和软聚合的循环更新算子来改进补丁轨迹。
• 通过因子头提出二维轨迹修正和置信权重。
• 使用可微分的束束调整层优化相机位姿和补丁深度。
• 用合成数据对位姿和补丁诱导的流进行有监督信号进行端到端训练。

实验结果

研究问题

• RQ1 稀疏补丁基匹配能否达到或超越密集光流深度 VO 方法的精度？
• RQ2 带可微分 BA 的循环补丁更新是否能提供与密集方法相当或更好的鲁棒性？
• RQ3 相较于如 DROID-SLAM 等先前方法，DPVO 如何在精度、速度和内存使用之间取得平衡？
• RQ4 补丁基设计选择（补丁提取、补丁数量、图连接性）对 VO 性能有何影响？

主要发现

• DPVO 在多个基准（EuRoC, TUM-RGBD, TartanAir, ICL-NUIM）上实现了比先前 VO 方法更低的平均误差。
• DPVO 在 VO 模式下的运行速度为 1.5–8.9x 更快，且内存使用量为如 DROID-SLAM 这类先前密集光流方法的 57–29% 。
• 一个 60 FPS 变体在大约 4.9 GB 内存，一个 120 FPS 变体在 RTX-3090 上大约 2.5 GB，且帧率相对稳定。
• 基于补丁的对应性结合更新算子和可微分 BA 在没有密集光流的情况下仍然表现出强鲁棒性。
• 随机补丁质心选择表现良好，消融实验显示补丁基特征和更新组件的重要性。