[논문 리뷰] F4Splat: Feed-Forward Predictive Densification for Feed-Forward 3D Gaussian Splatting

Injae Kim, Chaehyeon Kim외 3명|arXiv (Cornell University)|2026. 03. 22.

Computer Graphics and Visualization Techniques인용 수 0

한 줄 요약

F4Splat은 3D 가우시안 스플래팅을 위해 가우시안 프리미티브를 적응적으로 할당하는 피드포워드 밀도추정기를 도입하여 예산 제어가 가능한 비균일 가우시안 분포와 장면별 최적화 없이도 개선된 새로운 시야 합성을 가능하게 한다.

ABSTRACT

Feed-forward 3D Gaussian Splatting methods enable single-pass reconstruction and real-time rendering. However, they typically adopt rigid pixel-to-Gaussian or voxel-to-Gaussian pipelines that uniformly allocate Gaussians, leading to redundant Gaussians across views. Moreover, they lack an effective mechanism to control the total number of Gaussians while maintaining reconstruction fidelity. To address these limitations, we present F4Splat, which performs Feed-Forward predictive densification for Feed-Forward 3D Gaussian Splatting, introducing a densification-score-guided allocation strategy that adaptively distributes Gaussians according to spatial complexity and multi-view overlap. Our model predicts per-region densification scores to estimate the required Gaussian density and allows explicit control over the final Gaussian budget without retraining. This spatially adaptive allocation reduces redundancy in simple regions and minimizes duplicate Gaussians across overlapping views, producing compact yet high-quality 3D representations. Extensive experiments demonstrate that our model achieves superior novel-view synthesis performance compared to prior uncalibrated feed-forward methods, while using significantly fewer Gaussians.

연구 동기 및 목표

• 균일한 할당에서 적응적 할당으로 전환하여 피드포워드 3D 가우시안 스플래팅에서 가우시안 중복을 줄이는 동기를 부여한다.
• 재학습 없이 최종 가우시안 예산을 제어하기 위한 밀도추정 점수 기반 프레임워크를 제안한다.
• 복잡한 영역에 프리미티브를 집중시키되 뷰 간 중복을 피하는 공간적으로 적응적인 가우시안 할당을 가능하게 한다.
• 보정되지 않은 이미지 집합으로부터 밀도추정 신호를 예측하는 모델을 학습하여 단일 패스 재구성을 가능하게 한다.
• 보정되지 않은 피드포워드 3D 가우시안 스플래팅에서 대폭 적은 가우시안으로도 최첨단 성능을 입증한다.

제안 방법

• 맥락 이미지와 목표 가우시안 예산 N_G에서 가우시안 G 집합과 예측된 카메라 매개변수를 출력하는 피드포워드 네트워크 F_theta를 제공한다.
• 다중 스케일 가우시안 매개변수 맵과 밀도추정 점수 맵을 예측하여 스케일 간 계층적이고 임계값 기반의 할당을 가능하게 한다.
• 가우시안 맵의 카메라 파라미터와 특징을 추정하기 위해 VGGT 유사한 기하 백본과 DINOv2 특징을 사용한다.
• 렌더링 손실로부터 역전파된 뷰 공간 기울기로 감독되는 밀도추정 점수를 도입하여 학습 중 예산 가이드 할당을 가능하게 한다.
• 최종 개수가 사용자가 지정한 예산과 일치하도록 다중 스케일 맵에서 가우시안을 선택하는 예산 매칭 알고리즘을 사용한다.
• 참신한 시점을 사용하여 실제 타깃 포즈를 예측 좌표계에 맞춰 정렬함으로써 시점 간 일반화를 촉진하도록 학습한다.

실험 결과

연구 질문

• RQ1 고정 예산 하에서 피드포워드 3D 가우시안 스플래팅 파이프라인이 장면 복잡도에 맞춰 비균일하게 가우시안을 할당할 수 있는가?
• RQ2 밀도추정 점수 기반 할당이 균일 할당 기준보다 더 적은 가우시안으로도 새로운 시점 합성 품질을 향상시키는가?
• RQ3 보정되지 않은 이미지 모음으로부터 밀도추정 신호를 예측하고 재훈련 없이 최종 가우시안 예산을 제어하는 모델을 학습하는 것이 가능한가?
• RQ4 RE10K에서 학습할 때 미지의 데이터셋에 일반화가 얼마나 잘 되는가?
• RQ5 포즈-프리 및 보정되지 않은 설정에서도 렌더링 충실도를 유지하며 효과적으로 작동하는가?

주요 결과

Method	#GS (8 views)	LPIPS (8)	SSIM (8)	PSNR (8)	#GS (16 views)	LPIPS (16)	SSIM (16)	PSNR (16)	#GS (24 views)	LPIPS (24)	SSIM (24)	PSNR (24)
F4 Splat _tau+_	105K	0.142	0.847	25.26	210K	0.130	0.860	25.75	315K	0.128	0.862	25.85
F4 Splat _tau-_	447K	0.131	0.859	25.64	820K	0.120	0.869	26.10	1142K	0.119	0.870	26.18

• F4Splat은 이전의 보정되지 않은 피드포워드 방식보다 훨씬 적은 가우시안으로도 경쟁력 있거나 더 우수한 새로운 시점 합성 품질을 달성한다.
• 본 방법은 미세 디테일 영역에 프리미티브를 집중시키고 단순한 영역에서 중복을 줄이는 비균일 가우시안 할당을 보여준다.
• 동일 가우시안 예산에서 F4Splat은 8, 16, 24 시점에서 LPIPS, SSIM, PSNR 기준으로 자세-프리 및 보정되지 않은 baselines보다 우수하다.
• 밀도 추정 임계값 tau를 통한 예산 제어로 총 가우시안 수를 줄이면서도 재현성을 유지하고 명시적인 예산 매칭이 가능하다.
• RE10K에서 미지의 ACID 데이터로의 이전 시 강력한 성능을 보이며, 더 적은 가우시안으로도 고품질 재구성을 유지한다.