[논문 리뷰] DenoiseSplat: Feed-Forward Gaussian Splatting for Noisy 3D Scene Reconstruction

Fuzhen Jiang, Zhuoran Li외 1명|arXiv (Cornell University)|2026. 03. 10.

3D Shape Modeling and Analysis인용 수 0

한 줄 요약

DenoiseSplat은 테스트 시 최적화 없이도 노이즈가 있는 다중 뷰 이미지에서 깨끗한 3D 장면을 직접 재구성하는 강건한 전방향(피드포워드) 3D 가우시안 스플래팅 모델을 학습하며, 이때 기하-외관 이중 가지(head)와 CBC 정제를 사용한다.

ABSTRACT

3D scene reconstruction and novel-view synthesis are fundamental for VR, robotics, and content creation. However, most NeRF and 3D Gaussian Splatting pipelines assume clean inputs and degrade under real noise and artifacts. We therefore propose DenoiseSplat, a feed-forward 3D Gaussian splatting method for noisy multi-view images. We build a large-scale, scene-consistent noisy--clean benchmark on RE10K by injecting Gaussian, Poisson, speckle, and salt-and-pepper noise with controlled intensities. With a lightweight MVSplat-style feed-forward backbone, we train end-to-end using only clean 2D renderings as supervision and no 3D ground truth. On noisy RE10K, DenoiseSplat outperforms vanilla MVSplat and a strong two-stage baseline (IDF + MVSplat) in PSNR/SSIM and LPIPS across noise types and levels.

연구 동기 및 목표

• 다중 뷰 입력에서 현실적인 노이즈 하의 3D 장면 재구성과 새로운 시점 합성을 목표로 한다.
• 2D 노이즈 제거를 전처리 단계로 사용하지 않고, 노이즈 제거와 3D 재구성을 모두 수행하는 피드포워드 3D 가우시안 스플래팅 네트워크를 개발한다.
• 다중 노이즈 유형과 레벨을 가진 RealEstate10K에서 장면 일관된 노이즈-청정 벤치마크를 만든다.
• 노이즈 재구성 중 기하-외관 견고성을 향상시키기 위한 아키텍처 혁신을 제안한다.
• 노이즈 유형, 레벨, 시점에 걸친 견고성을 평가하고, 차등 분석 및 강력한 기준선과의 비교를 수행한다.

제안 방법

• 장면을 가우시안 프리미티브 집합으로 표현하고 미분 가능 가우시안 스플래팅 렌더러를 통해 렌더링한다.
• MVSplat을 기반으로 기하 및 외관 예측을 분리하는 이중 가지 가우시안 헤드를 확장한다.
• 3D 정답 없이 노이즈가 있는 다중 뷰 입력에서 깨끗한 렌더링만 감독 신호로 사용하여 엔드투엔드로 학습한다.
• 가우시안, 포아송, 스펙클, 소금-후추 노이즈를 주입하여 다중 노이즈, 장면 일관된 RE10K 데이터셋을 구성한다.
• 기하 경계 근처의 외관 정제를 위한 Cross-Branch Boundary-Guided Appearance Correction(CBC)을 도입한다.
• 렌더링된 이미지와 실제 이미지 간의 L1 및 SSIM을 결합한 2D 이미지 도메인 손실로 최적화한다.

실험 결과

연구 질문

• RQ1 개별 장면 최적화 없이 노이즈가 있는 다중 뷰 입력에서 어떻게 피드포워드 3D 가우시안 스플래팅 네트워크가 깨끗한 3D 장면을 재구성할 수 있는가?
• RQ2 기하-외관 분리를 통합하는 것이 다양한 노이즈 유형과 강도에 대한 견고성을 향상시키는가?
• RQ3 CBC 모듈이 기하 경계에서의 교차 가지 간 오류 전파를 완화하여 새로운 시점 품질을 향상시킬 수 있는가?
• RQ4 제안된 방법이 노이즈 제거 후 재구성 기준선과 노이즈 제거 없이 노이즈 입력에서 재구성 실행과 비교하여 어떤가?

주요 결과

방법	PSNR ↑	SSIM ↑	LPIPS ↓
MVSplat-GT(upper bound)	26.38	0.869	0.128
MVSplat-Noisy	24.46	0.702	0.349
Denoise-Then-MVSplat (IDF)	24.77	0.788	0.272
DenoiseSplat(Ours)	25.05	0.814	0.260

• DenoiseSplat은 노이즈 입력 방식 중에서 PSNR, SSIM, LPIPS 측면에서 노이즈가 있는 RE10K에서 가장 강력한 전반적 트레이드오프를 달성한다.
• MVSplat-Noisy와 비교할 때 DenoiseSplat은 노이버전 합성에서 아티팩트를 줄이고 기하 및 텍스처를 더 잘 보존한다.
• 구축된 벤치마크에서 DenoiseSplat은 PSNR, SSIM, LPIPS에서 두 단계 IDF + MVSplat 기준선보다 우수하다.
• 테스트 시점에 단일 전방 전달로 노이즈 제거된 3DGS 장면과 고품질 렌더링을 얻을 수 있으며, 테스트 시 최적화는 필요 없다.
• 노이즈가 증가할수록 seen 뷰와 novel 뷰 간의 성능 차이가 더 안정적으로 유지되어 더 나은 교차 뷰 일관성을 시사한다.
• CBC는 기하학적으로 도출된 경계 강도와 불확실성에 조건화하여 경계 근처의 외관 정제를 더 개선한다.