[论文解读] Improving neural implicit surfaces geometry with patch warping

François Darmon, B. Bascle+3 more|arXiv (Cornell University)|Dec 17, 2021

3D Shape Modeling and Analysis被引用 7

一句话总结

该论文提出 NeuralWarp，一种通过利用预测的 3D 几何结构对图像块进行光流变形，优化多视角图像一致性的方法，从而提升神经隐式表面重建性能。通过使用 SSIM 相似度度量对图像块进行变形，并利用软掩码处理可见性与遮挡问题，该方法在 DTU 和 EPFL 基准测试中相比最先进无监督方法，实现了超过 20% 的 3D 重建精度提升。

ABSTRACT

Neural implicit surfaces have become an important technique for multi-view 3D reconstruction but their accuracy remains limited. In this paper, we argue that this comes from the difficulty to learn and render high frequency textures with neural networks. We thus propose to add to the standard neural rendering optimization a direct photo-consistency term across the different views. Intuitively, we optimize the implicit geometry so that it warps views on each other in a consistent way. We demonstrate that two elements are key to the success of such an approach: (i) warping entire patches, using the predicted occupancy and normals of the 3D points along each ray, and measuring their similarity with a robust structural similarity (SSIM); (ii) handling visibility and occlusion in such a way that incorrect warps are not given too much importance while encouraging a reconstruction as complete as possible. We evaluate our approach, dubbed NeuralWarp, on the standard DTU and EPFL benchmarks and show it outperforms state of the art unsupervised implicit surfaces reconstructions by over 20% on both datasets.

研究动机与目标

• 解决神经隐式表面在多视角 3D 重建中难以捕捉高频纹理的精度限制问题。
• 克服仅依赖体素渲染优化几何结构时无法充分利用输入图像中精细细节的挑战。
• 引入一种可微的、与几何相关的图像变形机制，实现跨视角的图像一致性直接优化。
• 在变形过程中鲁棒地处理可见性与遮挡问题，避免因无效重投影引入误导性梯度。
• 在无需监督或显式深度监督的情况下，显著提升标准基准测试的性能表现。

提出的方法

• 利用隐式占据网络和法线网络预测的 3D 几何结构，将源视角的图像块变形至参考视角。
• 采用平面场景近似方法，将射线上的 3D 点投影到参考图像平面，实现图像块的变形。
• 使用结构相似性（SSIM）度量变形块与参考图像块之间的相似度，该度量对光照变化不敏感，更具鲁棒性。
• 为每个参考像素和源视角引入软可见性掩码，降低被遮挡或无效重投影区域的贡献。
• 将体素渲染损失与新型图像块变形一致性损失相结合，联合优化几何与颜色网络。
• 应用可见性掩码，移除在任意源视角中均无有效重投影像素的损失贡献，提升训练稳定性。

实验结果

研究问题

• RQ1 通过图像块变形优化多视角图像一致性，能否显著提升神经隐式表面的几何精度？
• RQ2 基于 SSIM 的图像块相似度度量是否优于像素级强度差异，在处理非朗伯材质和光照变化时表现更优？
• RQ3 在可微图像变形过程中，如何有效建模可见性与遮挡问题，以避免在几何优化中引入伪影？
• RQ4 图像块级变形与像素级变形在提升重建质量方面，各自的相对贡献如何？
• RQ5 结合体素渲染损失与变形一致性损失的混合损失函数，能否在无监督 3D 重建中实现最先进性能？

主要发现

• 与最先进无监督神经隐式方法相比，NeuralWarp 在 DTU 和 EPFL 基准测试的所有场景中，平均 3D 重建精度提升超过 20%。
• 完整方法在 DTU 数据集上达到 0.68 的 Chamfer 距离，显著优于 VolSDF（0.85）、UNISURF 和 MVSDF。
• 与像素级变形相比，图像块级变形带来 12% 的性能提升，证明了在图像一致性优化中上下文相似度的重要性。
• 移除遮挡掩码后性能下降，证实其在训练过程中抑制无效重投影的关键作用。
• 消融实验表明，结合体素渲染损失与变形损失的模型性能优于单独使用任一损失，完整模型达到最低 Chamfer 距离。
• 定性结果表明，NeuralWarp 能够成功保留高频纹理与精细几何细节（如边缘和表面图案），而这些特征在标准隐式方法中常被模糊化。