[論文レビュー] DenoiseSplat: Feed-Forward Gaussian Splatting for Noisy 3D Scene Reconstruction

Fuzhen Jiang, Zhuoran Li+1 more|arXiv (Cornell University)|Mar 10, 2026

3D Shape Modeling and Analysis被引用数 0

ひとこと要約

DenoiseSplat は、デュアルブランチのジオメトリ–アピアランスヘッドと CBC 整合 refinement を用い、ノイズの多いマルチビュー画像からクリーンな3Dシーンをテスト時最適化なしで再構成する堅牢なフォワード推論の3Dガウス splatting モデルを学習します。

ABSTRACT

3D scene reconstruction and novel-view synthesis are fundamental for VR, robotics, and content creation. However, most NeRF and 3D Gaussian Splatting pipelines assume clean inputs and degrade under real noise and artifacts. We therefore propose DenoiseSplat, a feed-forward 3D Gaussian splatting method for noisy multi-view images. We build a large-scale, scene-consistent noisy--clean benchmark on RE10K by injecting Gaussian, Poisson, speckle, and salt-and-pepper noise with controlled intensities. With a lightweight MVSplat-style feed-forward backbone, we train end-to-end using only clean 2D renderings as supervision and no 3D ground truth. On noisy RE10K, DenoiseSplat outperforms vanilla MVSplat and a strong two-stage baseline (IDF + MVSplat) in PSNR/SSIM and LPIPS across noise types and levels.

研究の動機と目的

• 現実的なノイズを含むマルチビュー入力下での3Dシーン再構成と新規ビュー合成の動機付け。
• 2Dデノイズ処理を前処理ステップとせず、デノイジングと再構成を3Dで行うフォワード推論の3Dガウス splatting ネットワークを開発。
• 複数のノイズタイプとレベルを含む RealEstate10K に対するシーン一貫性のあるデノイジング–クリーンのベンチマークを作成。
• ノイズ時の再構成中にジオメトリ–アピアランスの頑健性を向上させるアーキテクチャ上の革新を提案。
• ノイズタイプ・レベル・ビュー間の頑健性を ablation と強力なベースラインとの比較を通じて評価。

提案手法

• シーンをガウス原始体の集合として表現し、微分可能なガウス splatting レンダラーでレンダリング。
• MVSplat を基盤とし、ジオメトリとアピアランスの予測を分離するデュアルブランチのガウスヘッドを拡張して構築。
• ノ 3D 地上 truth を用意せず、ノイズのあるマルチビュー入力からのクリーンなレンダリングのみを監督信号として、エンドツーエンドで訓練。
• Gaussian・Poisson・speckle・salt-and-pepper ノイズを注入して、マルチノイズ・シーン一貫性のある RE10K データセットを構築。
• ジオメトリ境界近くのアピアランスを改良するための Cross-Branch Boundary-Guided Appearance Correction (CBC) を導入。
• レンダリング画像とグラウンドトゥルース画像間の L1 と SSIM を組み合わせた 2D 画像ドメイン損失で最適化。

実験結果

リサーチクエスチョン

• RQ1 ノードごとの再最適化なしに、ノイズの多いマルチビュー入力からクリーンな3Dシーンを再構成するフォワード推論の3Dガウス splatting ネットワークはどう実現できるか？
• RQ2 ジオメトリ–アピアランスのデコプル化を統合すると、異なるノイズタイプ・強度に対して頑健性が向上するか？
• RQ3 CBC モジュールは幾何境界での branch 間の誤差伝播を抑制し、新規ビューの品質を改善できるか？
• RQ4 提案手法は、デノイズ後再構成のベースラインやノイズ除去をせずにノイズ入力上で再構成を実行する場合と比較してどうか？

主な発見

Method	PSNR ↑	SSIM ↑	LPIPS ↓
MVSplat-GT(upper bound)	26.38	0.869	0.128
MVSplat-Noisy	24.46	0.702	0.349
Denoise-Then-MVSplat (IDF)	24.77	0.788	0.272
DenoiseSplat(Ours)	25.05	0.814	0.260

• DenoiseSplat は、ノイズ付き RE10K における PSNR、SSIM、LPIPS の総合トレードオフで最も強力な成績を示す。
• MVSplat-Noisy に比べて、DenoiseSplat はアーチファクトを低減し、新規ビュー合成におけるジオメトリとテクスチャをより良く保持する。
• 構築されたベンチマークにおいて、DenoiseSplat は two-stage の IDF + MVSplat ベースラインを PSNR、SSIM、LPIPS で上回る。
• テスト時にワンパスだけでノイズ除去済みの3DGS シーンと高品質なレンダリングを得られ、テスト時最適化は不要。
• DenoiseSplat は、見えたビューと新規ビュー間のノイズが増加しても性能の安定性を保ち、クロスビューの一貫性が改善されている。
• CBC は、境界付近のアピアランス改良をさらに高め、ジオメトリ由来の境界強度と不確実性の条件付けによって改善。