[论文解读] Detail-preserving and Content-aware Variational Multi-view Stereo Reconstruction

Zhaoxin Li, Kuanquan Wang+3 more|arXiv (Cornell University)|May 3, 2015

Advanced Vision and Imaging参考文献 47被引用 30

一句话总结

该论文提出了一种细节保持性与内容感知性兼具的变分（DCV）多视角立体视觉方法，通过在新型边缘保持相似性度量下最小化重投影误差与内容感知的ℓp-基于网格去噪之间交替进行，实现高质量重建。通过将引导图像滤波与图像配准相联系，并自适应地估计p值和正则化参数，DCV在Middlebury的dino ring和dino sparse ring数据集上均实现了优于当前最先进方法的精度与完整性表现。

ABSTRACT

Accurate recovery of 3D geometrical surfaces from calibrated 2D multi-view images is a fundamental yet active research area in computer vision. Despite the steady progress in multi-view stereo reconstruction, most existing methods are still limited in recovering fine-scale details and sharp features while suppressing noises, and may fail in reconstructing regions with few textures. To address these limitations, this paper presents a Detail-preserving and Content-aware Variational (DCV) multi-view stereo method, which reconstructs the 3D surface by alternating between reprojection error minimization and mesh denoising. In reprojection error minimization, we propose a novel inter-image similarity measure, which is effective to preserve fine-scale details of the reconstructed surface and builds a connection between guided image filtering and image registration. In mesh denoising, we propose a content-aware $\ell_{p}$-minimization algorithm by adaptively estimating the $p$ value and regularization parameters based on the current input. It is much more promising in suppressing noise while preserving sharp features than conventional isotropic mesh smoothing. Experimental results on benchmark datasets demonstrate that our DCV method is capable of recovering more surface details, and obtains cleaner and more accurate reconstructions than state-of-the-art methods. In particular, our method achieves the best results among all published methods on the Middlebury dino ring and dino sparse ring datasets in terms of both completeness and accuracy.

研究动机与目标

• 解决现有MVS方法在抑制噪声的同时难以保持细粒度细节与锐利特征的局限性。
• 克服基于网格的MVS重建中各向同性网格平滑导致的过度平滑问题。
• 提升低纹理区域与复杂几何区域的重建精度与完整性。
• 开发一种内容感知的网格去噪策略，根据局部表面内容自适应调整，以实现更优的特征保持。
• 集成一种新型图像间相似性度量，通过引导滤波原理增强细节保持能力。

提出的方法

• 提出一种新型图像间相似性度量，将引导图像滤波与图像配准相连接，以保持细粒度表面细节。
• 采用内容感知的ℓp-最小化算法进行网格去噪，基于局部表面内容动态估计p值与正则化参数。
• 在变分框架下交替进行重投影误差最小化与网格去噪，以优化三维表面重建。
• 利用表面梯度的超拉普拉斯建模来引导ℓp最小化过程，实现稳健的噪声抑制。
• 采用两步优化流程：首先利用新型相似性度量最小化重投影误差，随后通过自适应ℓp正则化对网格进行去噪。
• 在标定后的多视角图像上应用该方法，利用PMVS+PSR进行初始表面估计，再进行后续优化。

实验结果

研究问题

• RQ1 基于引导滤波的相似性度量是否能提升多视角立体视觉重建中的细节保持能力？
• RQ2 结合内容感知参数估计的自适应ℓp-最小化是否能优于各向同性与各向异性网格平滑，在保持锐利特征方面表现更优？
• RQ3 将细节保持性相似性度量与内容感知去噪相结合，是否能在基准数据集上实现更优的重建质量？
• RQ4 在低纹理与复杂几何区域等具有挑战性的数据集（如Middlebury的dino ring）上，该方法表现如何？
• RQ5 与当前最先进方法相比，该方法在保持细粒度表面细节的同时，能在多大程度上减少噪声？

主要发现

• 在Middlebury的dino ring与dino sparse ring数据集上，DCV方法在完整性和精度方面均优于所有已发表方法。
• 在bell数据集上，DCV生成了最清晰且最细致的重建结果，相比各向同性方法与细节保持性相似性基线，其在细粒度特征与平滑表面的保持方面表现更优。
• 在fountain-P11户外数据集上，DCV在保持小尺度细节与锐利特征方面明显优于各向同性方法。
• 在statuegirl数据集上，DCV的重建质量可与商业软件Smart3Dcapture相媲美，且在脚趾与面部特征等细粒度细节的恢复方面表现更优。
• 内容感知的ℓp去噪方法在视觉效果上优于竞争的各向异性方法，并在Herzjesu-P8与Totoro数据集上达到或超越基于L0的去噪方法性能。
• 该方法能有效重建具有平坦区域、锐利边缘与细粒度细节的表面，展现出在多样化几何与纹理条件下的鲁棒性。