[论文解读] Dense Multi-view 3D-reconstruction Without Dense Correspondences

Yvain Quéau, Jean Mélou+2 more|arXiv (Cornell University)|Apr 2, 2017

Advanced Vision and Imaging参考文献 39被引用 5

一句话总结

本文提出了一种变分多视角SFS方法，通过ADMM优化在多个视角和颜色通道之间耦合单幅图像SFS问题，实现了无需密集对应关系的密集3D重建。该方法在自然光照下实现了高保真、细节丰富的重建，即使在极少视角（如N=2）下也能消除凹面/凸面模糊性，并优于标准MVS在无纹理和低纹理表面上的表现。

ABSTRACT

We introduce a variational method for multi-view shape-from-shading under natural illumination. The key idea is to couple PDE-based solutions for single-image based shape-from-shading problems across multiple images and multiple color channels by means of a variational formulation. Rather than alternatingly solving the individual SFS problems and optimizing the consistency across images and channels which is known to lead to suboptimal results, we propose an efficient solution of the coupled problem by means of an ADMM algorithm. In numerous experiments on both simulated and real imagery, we demonstrate that the proposed fusion of multiple-view reconstruction and shape-from-shading provides highly accurate dense reconstructions without the need to compute dense correspondences. With the proposed variational integration across multiple views shape-from-shading techniques become applicable to challenging real-world reconstruction problems, giving rise to highly detailed geometry even in areas of smooth brightness variation and lacking texture.

研究动机与目标

• 通过用SFS替代密集对应计算来克服标准多视角立体（MVS）在无纹理或平滑区域的局限性。
• 利用多视角一致性解决单视角SFS中固有的模糊性（凹面与凸面之分）。
• 在一般（自然）光照下开发一种鲁棒、无需正则化的SFS公式，以保留精细几何细节。
• 将多视角光度一致性约束直接整合到变分框架中，避免对MVS输出进行迭代优化。
• 仅使用稀疏对应关系实现高质量3D重建，显著减少所需输入图像数量。

提出的方法

• 基于一般光照下的PDE-SFS模型，构建一个联合变分优化问题，通过N个视角和C个颜色通道耦合SFS问题。
• 引入辅助变量θ_i = ((z_i)_x, (z_i)_y, z_i)以解耦深度与梯度变量，从而实现高效的ADMM优化。
• 通过ADMM算法求解耦合问题，交替更新深度图并强制执行多视角一致性约束。
• 利用预测与观测强度之间差异的2-范数，施加多视角光度一致性约束。
• 使用权重参数λ平衡SFS数据保真度项与多视角一致性项，实验表明在λ ∈ [10⁻⁸, 10⁻²]范围内具有鲁棒性。
• 对SFS PDE系统采用定点线性化策略，避免正则化的同时保持数值稳定性。

实验结果

研究问题

• RQ1 多视角一致性是否能在不依赖正则化或初始估计的情况下，解决单视角SFS中的凹面/凸面模糊性？
• RQ2 在自然光照下，变分SFS公式在无密集对应关系的情况下，能在多大程度上实现高保真3D重建？
• RQ3 与标准MVS相比，该方法在重建无纹理或平滑表面的精细几何细节方面表现如何？
• RQ4 该方法是否能仅使用两幅图像和稀疏对应关系实现精确重建，从而避免密集匹配的需求？
• RQ5 SFS组件中无正则化是否能带来相比正则化SFS或基于MVS的优化方法更优的细节恢复效果？

主要发现

• 所提方法仅使用两幅图像和稀疏对应关系，即可实现无歧义的3D重建，彻底消除了单视角SFS中固有的凹面/凸面模糊性。
• 在合成数据上，该方法在'Figure'数据集（彩色、二阶光照）下的平均绝对误差（MAE-N）为8.13，显著优于基线方法。
• 在真实世界数据集'Sokrates'（N=4）上，该方法利用7,982个SIFT稀疏匹配点，生成了密集且细节丰富的重建结果，在细粒度几何结构上优于标准MVS。
• 该方法在广泛λ值范围（10⁻⁸至10⁻²）内表现一致，且始终使用λ = 10⁻⁵，表明对参数选择具有鲁棒性。
• 由两幅深度图（z₁, z₂）融合生成的点云表现出一致的几何结构，证实多视角约束成功消除了模糊性。
• 尽管仅使用两幅图像，该方法在'Figure'物体上的重建细节优于使用30幅图像的CMPMVS，证明了其在效率和细节恢复方面的卓越性能。