[论文解读] DenoiseSplat: Feed-Forward Gaussian Splatting for Noisy 3D Scene Reconstruction

Fuzhen Jiang, Zhuoran Li+1 more|arXiv (Cornell University)|Mar 10, 2026

3D Shape Modeling and Analysis被引用 0

一句话总结

DenoiseSplat 学习了一种鲁棒的前馈3D高斯点云绘制模型，能够直接从带有噪声的多视图图像中重建干净的3D场景，无需测试时优化，采用双分支几何–外观头和 CBC 精 refinement。

ABSTRACT

3D scene reconstruction and novel-view synthesis are fundamental for VR, robotics, and content creation. However, most NeRF and 3D Gaussian Splatting pipelines assume clean inputs and degrade under real noise and artifacts. We therefore propose DenoiseSplat, a feed-forward 3D Gaussian splatting method for noisy multi-view images. We build a large-scale, scene-consistent noisy--clean benchmark on RE10K by injecting Gaussian, Poisson, speckle, and salt-and-pepper noise with controlled intensities. With a lightweight MVSplat-style feed-forward backbone, we train end-to-end using only clean 2D renderings as supervision and no 3D ground truth. On noisy RE10K, DenoiseSplat outperforms vanilla MVSplat and a strong two-stage baseline (IDF + MVSplat) in PSNR/SSIM and LPIPS across noise types and levels.

研究动机与目标

• 在多视图输入的现实噪声下，推动3D场景重建与新视角合成的研究动机。
• 开发一个能在不进行2D去噪作为预处理步骤的情况下进行去噪与3D重建的前馈3D高斯点云绘制网络。
• 在 RealEstate10K 上创建一个场景一致的有噪声–干净基准，包含多种噪声类型和水平。
• 提出能够在嘈杂重建过程中提高几何–外观鲁棒性的架构创新。
• 在噪声类型、水平和视角上评估鲁棒性，并与强基线进行消融和对比。

提出的方法

• 将场景表示为一组高斯原语，并通过可微分的高斯点云绘制渲染器进行渲染。
• 在 MVSplat 的基础上扩展，加入分离几何与外观预测的双分支高斯头。
• 仅利用干净渲染作为监督信号，端到端训练，输入为带噪声的多视图数据，而不使用3D真实地形数据。
• 通过注入高斯、泊松、斑点噪声和椒盐噪声，构建一个多噪声、场景一致的 RE10K 有噪声–干净数据集。
• 引入 Cross-Branch Boundary-Guided Appearance Correction (CBC)，在几何边界附近进行外观修正。
• 使用在渲染图像与真值图像之间的 2D 图像域损失（结合 L1 与 SSIM）进行优化。

实验结果

研究问题

• RQ1 如何在不进行逐场景优化的情况下，让前馈3D高斯点云绘制网络从有噪声的多视图输入中重建干净的3D场景？
• RQ2 将几何–外观解耦引入是否提升对不同噪声类型与强度的鲁棒性？
• RQ3 CBC 模块能否在几何边界处缓解跨分支误差传播，从而改善新视角质量？
• RQ4 与先验去噪后再重建的基线相比，以及在对带噪声输入直接进行重建时，本方法的表现如何？

主要发现

Method	PSNR ↑	SSIM ↑	LPIPS ↓
MVSplat-GT(upper bound)	26.38	0.869	0.128
MVSplat-Noisy	24.46	0.702	0.349
Denoise-Then-MVSplat (IDF)	24.77	0.788	0.272
DenoiseSplat(Ours)	25.05	0.814	0.260

• DenoiseSplat 在有噪声的 RE10K 数据集上，在 PSNR、SSIM、LPIPS 的综合权衡上领先于其他有噪声输入的方法。
• 与 MVSplat-Noisy 相比，DenoiseSplat 能在新视角合成中更好地保留几何和纹理，减少伪影。
• 在构建的基准上，DenoiseSplat 在 PSNR、SSIM、LPIPS 上超越了两阶段的 IDF + MVSplat 基线。
• 测试时只需一次前向传播即可得到去噪的 3DGS 场景与高质量渲染，而无需测试时优化。
• DenoiseSplat 在噪声水平增加时，对已见视角和新视角的性能更稳定，体现了更强的跨视角一致性。
• CBC 通过使用几何衍生的边界强度与不确定性来对边界近邻的外观进行进一步修正。