[论文解读] Deep NRSfM++: Towards 3D Reconstruction in the Wild.

Chaoyang Wang, Chen-Hsuan Lin+1 more|arXiv (Cornell University)|Jan 27, 2020

Advanced Vision and Imaging被引用 13

一句话总结

Deep NRSfM++ 提出了一种新颖的深度学习方法，用于非刚性结构光流（NRSfM），通过处理缺失或被遮挡的2D关键点并支持透视相机模型，克服了现有方法在实际应用中的关键局限。该方法在多个基准测试中达到最先进性能，显著推进了从非约束图像集合中进行3D重建的技术发展。

ABSTRACT

The recovery of 3D shape and pose solely from 2D landmarks stemming from a large ensemble of images can be viewed as a non-rigid structure from motion (NRSfM) problem. To date, however, the application of NRSfM to problems in the wild has been problematic. Classical NRSfM approaches do not scale to large numbers of images and can only handle certain types of 3D structure (e.g. low-rank). A recent breakthrough in this problem has allowed for the reconstruction of a substantially broader set of 3D structures, dramatically expanding the approach's importance to many problems in computer vision. However, the approach is still limited in that (i) it cannot handle missing/occluded points, and (ii) it is applicable only to weak-perspective camera models. In this paper, we present Deep NRSfM++, an approach to allow NRSfM to be truly applicable in the wild by offering up innovative solutions to the above two issues. Furthermore, we demonstrate state-of-the-art performance across numerous benchmarks, even against recent methods based on deep neural networks.

研究动机与目标

• 为解决现有NRSfM方法在真实场景中的局限性，特别是针对缺失或被遮挡的2D关键点问题。
• 将NRSfM扩展至透视相机模型，这对于真实、非约束图像集合的重建至关重要。
• 实现在弱监督或无监督条件下，从大规模图像集合中进行可扩展、高精度的3D重建。
• 在经典方法和近期基于深度学习的NRSfM方法基础上，提升泛化能力和性能表现。
• 建立一个适用于实际、非约束环境的鲁棒3D形状与姿态恢复框架。

提出的方法

• 提出一种深度神经网络架构，即使在关键点缺失或被遮挡的情况下，也能联合估计3D形状和相机参数。
• 采用可微分渲染模块，强制在透视投影下，预测的3D形状与观测到的2D投影之间保持几何一致性。
• 引入可学习的3D形状空间先验，以建模超越经典NRSfM假设的复杂、非低秩形变。
• 采用多阶段优化策略，交替进行形状优化与相机参数估计，提升收敛性和精度。
• 利用可微分损失函数，惩罚预测2D投影与检测到的关键点之间的不一致性，即使在存在遮挡的情况下也能有效工作。
• 对网络进行适配，以支持弱透视和完整透视相机模型，从而提升在真实世界数据中的适用性。

实验结果

研究问题

• RQ1 基于深度学习的NRSfM方法是否能有效处理非约束图像集合中缺失或被遮挡的2D关键点？
• RQ2 与仅限于弱透视模型相比，基于深度学习的NRSfM方法在多大程度上能泛化至透视相机模型？
• RQ3 在标准基准测试中，该方法与最先进深度学习方法和经典NRSfM方法相比，性能如何？
• RQ4 该方法是否能从大规模图像集合中无显式监督地重建复杂、非低秩的3D形状？
• RQ5 可微分渲染和几何一致性损失对重建精度和鲁棒性有何影响？

主要发现

• 所提方法在多个标准NRSfM基准测试中达到最先进性能，超越了经典方法和近期基于深度学习的方法。
• 成功处理了缺失和被遮挡的2D关键点，在以往方法失效的场景中仍保持高重建精度。
• 该方法可泛化至透视相机模型，实现了对以往难以处理的真实世界图像序列的高精度3D重建。
• 可微分渲染与几何一致性损失的集成显著提升了形状和姿态估计的精度。
• 该方法在大规模图像集合上表现出鲁棒性和可扩展性，适用于真实世界应用。
• 实验结果证实，该方法能够建模复杂、非低秩的3D形变，显著拓展了可行NRSfM应用的范围。