[论文解读] DN-Splatter: Depth and Normal Priors for Gaussian Splatting and Meshing

Matias Turkulainen, Xuqian Ren+4 more|arXiv (Cornell University)|Mar 26, 2024

Industrial Vision Systems and Defect Detection被引用 5

一句话总结

DN-Splatter 在 3D Gaussian splatting 增强深度和单目法线先验，以提升室内场景重建，实现更好的新视图合成和直接网格提取。

ABSTRACT

High-fidelity 3D reconstruction of common indoor scenes is crucial for VR and AR applications. 3D Gaussian splatting, a novel differentiable rendering technique, has achieved state-of-the-art novel view synthesis results with high rendering speeds and relatively low training times. However, its performance on scenes commonly seen in indoor datasets is poor due to the lack of geometric constraints during optimization. In this work, we explore the use of readily accessible geometric cues to enhance Gaussian splatting optimization in challenging, ill-posed, and textureless scenes. We extend 3D Gaussian splatting with depth and normal cues to tackle challenging indoor datasets and showcase techniques for efficient mesh extraction. Specifically, we regularize the optimization procedure with depth information, enforce local smoothness of nearby Gaussians, and use off-the-shelf monocular networks to achieve better alignment with the true scene geometry. We propose an adaptive depth loss based on the gradient of color images, improving depth estimation and novel view synthesis results over various baselines. Our simple yet effective regularization technique enables direct mesh extraction from the Gaussian representation, yielding more physically accurate reconstructions of indoor scenes.

研究动机与目标

• 以高保真室内 3D 重建为动机，使用 Gaussian splatting。
• 利用深度线索对高斯优化进行正则化，以减少伪影。
• 利用单目法线先验使高斯与真实几何对齐。
• 引入对边缘敏感的深度损失，以稳健处理纹理稀薄区域。
• 通过正则化实现从高斯场直接提取网格。

提出的方法

• 引入对边缘敏感的深度损失用于高斯深度正则化。
• 在传感器深度不可用时使用单目深度先验，并将尺度与稀疏 SfM 点对齐。
• 从高斯推断几何法线，并用单目法线线索进行正则化。
• 对预测法线应用总变差风格的平滑，鼓励局部一致性。
• 使用传感器深度和初始点云中的法线方向初始化高斯。
• 通过泊松表面重建从正则化的高斯场直接提取网格。

实验结果

研究问题

• RQ1 深度线索是否可以对 Gaussian splatting 进行正则化，从而改善室内场景几何和照片真实感？
• RQ2 单目法线先验是否在不增加额外可学习参数的情况下帮助将高斯与真实表面对齐？
• RQ3 深度/法线正则化是否能够从基于高斯的场景中获得可靠的网格提取？
• RQ4 深度损失和法线正则化对新视图合成质量有何影响？
• RQ5 传感器深度与 SfM 初始化如何影响重建结果？

主要发现

• 将深度和法线先验结合显著提高真实室内数据集上的网格重建质量，相较于基线。
• 深度正则化的 Gaussian splatting 提升新视图合成指标（PSNR、SSIM）并减少伪影。
• 与稀疏 SfM 点对齐的单目深度先验在传感器深度不可用时提供有竞争力的提升。
• 从高斯几何推断的法线先验加上法线平滑提高表面细节和法线一致性。
• 通过泊松重建从正则化的高斯场直接提取网格，得到更平滑、几何上更准确的网格。
• 传感器深度初始化在室内数据集中用于高斯场初始化时优于 COLMAP SfM 初始化。