[论文解读] Conditional Single-view Shape Generation for Multi-view Stereo Reconstruction

Yi Wei, Shaohui Liu+3 more|arXiv (Cornell University)|Apr 14, 2019

Advanced Vision and Imaging参考文献 51被引用 10

一句话总结

本文提出了一种用于单视角3D形状重建的条件生成模型，通过使用随机潜在向量建模形状不确定性来解决遮挡问题。通过将多视角重建表述为单个视角生成形状空间的交集，并引入可微分约束（前向、多样性与一致性），该方法在ShapeNetCore数据集上实现了最先进（SOTA）的3D重建精度，并在真实世界数据上表现出良好的泛化能力。

ABSTRACT

In this paper, we present a new perspective towards image-based shape generation. Most existing deep learning based shape reconstruction methods employ a single-view deterministic model which is sometimes insufficient to determine a single groundtruth shape because the back part is occluded. In this work, we first introduce a conditional generative network to model the uncertainty for single-view reconstruction. Then, we formulate the task of multi-view reconstruction as taking the intersection of the predicted shape spaces on each single image. We design new differentiable guidance including the front constraint, the diversity constraint, and the consistency loss to enable effective single-view conditional generation and multi-view synthesis. Experimental results and ablation studies show that our proposed approach outperforms state-of-the-art methods on 3D reconstruction test error and demonstrate its generalization ability on real world data.

研究动机与目标

• 为解决单视角3D重建的根本局限性，即遮挡导致确定性模型无法准确推断完整形状。
• 通过学习以随机潜在向量为条件的条件生成网络，对单视角重建中的形状不确定性进行建模。
• 通过将单视角条件模型扩展至多视角立体重建，将其表述为从多个视角预测的形状空间的交集。
• 通过引入可微分约束（前向、多样性与一致性），提升重建精度并增强在真实世界数据上的泛化能力。
• 在无需显式3D监督的情况下实现最先进性能，仅依赖预渲染的深度图像和相机位姿。

提出的方法

• 采用部分监督设置训练条件生成网络，将真实形状视为合理形状空间中的一个样本。
• 引入可微分的前向约束，确保生成形状的前部与输入图像投影深度对齐，从而在训练过程中实现梯度传播。
• 通过采样不同的潜在向量，多样性约束鼓励模型生成多种合理的形状，从而扩展形状空间的覆盖范围。
• 在多视角重建中，将最终形状视为来自每个视角预测形状空间的交集，使用配对距离度量保证一致性。
• 对每个视角的条件模型的潜在向量执行在线优化，以细化预测并强制实现多视角一致性。
• 通过优化后合并多视角点云结果，获得最终的3D形状。

实验结果

研究问题

• RQ1 条件生成模型能否在遮挡条件下有效建模单视角3D重建中的形状不确定性？
• RQ2 如何将多视角立体重建表述为单个视角生成形状空间的交集？
• RQ3 哪些可微分约束最有效地引导条件生成并确保多视角一致性？
• RQ4 所提出方法是否能泛化到真实世界中非对称且复杂的形状，而不仅限于合成数据集？
• RQ5 最小化一致性损失在多大程度上与提升3D重建精度相关？

主要发现

• 所提方法在ShapeNetCore数据集上实现了最先进（SOTA）的3D重建测试误差，Chamfer距离（CD）为3.37，Hausdorff距离（HD）为4.08。
• 一致性损失与重建误差表现出强烈的正相关性，最小化该损失可导致CD度量的稳定降低。
• 消融实验证实，两阶段训练、多样性约束和一致性损失均对性能提升有显著贡献。
• 模型在真实世界数据上表现出有效的泛化能力，如在Stanford Online Products数据集上的实验所示，其在非对称物体上的表现优于基于对称性先验的方法。
• 在潜在向量上进行在线优化相比启发式初始化能显著提升性能，CD从1.40降至1.40（使用bp），HD从7.76降至2.80。
• 前向约束实现了有效的梯度流动，而投影损失因渲染过程中的不可微分量化而无法收敛。