[论文解读] DRO: Deep Recurrent Optimizer for Structure-from-Motion.

Xiaodong Gu, Weihao Yuan+4 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Vision and Imaging参考文献 44被引用 17

一句话总结

本文提出DRO，一种用于运动结构重建（SfM）的深度循环优化器，通过门控循环单元（GRU）迭代优化深度图与相机位姿，以最小化特征度量损失函数，且无需梯度计算。该方法在监督与自监督设置下均达到当前最优性能，在KITTI与ScanNet数据集上超越了先前方法，同时降低了计算与内存开销。

ABSTRACT

There are increasing interests of studying the structure-from-motion (SfM) problem with machine learning techniques. While earlier methods directly learn a mapping from images to depth maps and camera poses, more recent works enforce multi-view geometry constraints through optimization embedded in the learning framework. This paper presents a novel optimization method based on recurrent neural networks to further exploit the potential of neural networks in SfM. Specifically, our neural optimizer alternately updates the depth and camera poses through iterations to minimize a feature-metric cost, and two gated recurrent units iteratively improve the results by tracing historical information. In this way, our network is a gradient-free zeroth-order optimizer designed for SfM and can be applied to both supervised and self-supervised SfM. Extensive experimental results demonstrate that our method outperforms previous methods and is more efficient in computation and memory consumption than cost-volume-based methods. In particular, our self-supervised method outperforms previous supervised methods on the KITTI and ScanNet datasets. Our source code is available at this https URL.

研究动机与目标

• 为解决端到端学习在运动结构重建中的局限性，通过优化过程引入几何约束。
• 设计一种可微分的循环优化框架，以实现无需依赖梯度计算的深度与相机位姿估计优化。
• 通过门控循环单元利用历史优化状态，实现高效且准确的自监督SfM。
• 相比基于代价体积的方法，降低计算与内存开销，同时保持或提升性能。

提出的方法

• DRO使用两个门控循环单元（GRU）基于特征度量损失函数，迭代更新深度图与相机位姿。
• 优化过程交替精炼深度与位姿估计，利用历史状态引导收敛。
• 网络作为零阶优化器，避免在优化循环中进行反向传播。
• 该方法可端到端训练，并适用于监督与自监督SfM设置。
• 通过GRU对过去优化步骤的记忆，引导迭代优化以最小化特征度量损失函数。

实验结果

研究问题

• RQ1 能否有效利用循环神经网络在无梯度计算的前提下优化SfM中的深度与相机位姿？
• RQ2 无梯度的循环优化框架在准确率与效率方面，相较于基于梯度或基于代价体积的方法表现如何？
• RQ3 自监督的DRO方法是否能在KITTI与ScanNet等真实世界基准上超越监督基线方法？
• RQ4 通过GRU引入历史优化状态，在多大程度上提升了收敛性与最终重建质量？

主要发现

• DRO在监督与自监督SfM基准上均达到当前最优性能。
• DRO的自监督版本在KITTI与ScanNet数据集上超越了先前的监督方法。
• 与基于代价体积的方法相比，DRO显著降低了计算与内存消耗，同时保持或提升了准确率。
• 门控循环单元的使用有效追踪了优化历史，提升了收敛性与最终结果质量。