[論文レビュー] F4Splat: Feed-Forward Predictive Densification for Feed-Forward 3D Gaussian Splatting

Injae Kim, Chaehyeon Kim+3 more|arXiv (Cornell University)|Mar 22, 2026

Computer Graphics and Visualization Techniques被引用数 0

ひとこと要約

F4Splat は、3D Gaussian Splatting のための前方伝播型 densification プロ predictor を導入し、ガウスプリミティブを適応的に割り当てることで、予算制御された非均一ガウス分布と、シーンごとの最適化を要さない新規ビュー合成の向上を実現します。

ABSTRACT

Feed-forward 3D Gaussian Splatting methods enable single-pass reconstruction and real-time rendering. However, they typically adopt rigid pixel-to-Gaussian or voxel-to-Gaussian pipelines that uniformly allocate Gaussians, leading to redundant Gaussians across views. Moreover, they lack an effective mechanism to control the total number of Gaussians while maintaining reconstruction fidelity. To address these limitations, we present F4Splat, which performs Feed-Forward predictive densification for Feed-Forward 3D Gaussian Splatting, introducing a densification-score-guided allocation strategy that adaptively distributes Gaussians according to spatial complexity and multi-view overlap. Our model predicts per-region densification scores to estimate the required Gaussian density and allows explicit control over the final Gaussian budget without retraining. This spatially adaptive allocation reduces redundancy in simple regions and minimizes duplicate Gaussians across overlapping views, producing compact yet high-quality 3D representations. Extensive experiments demonstrate that our model achieves superior novel-view synthesis performance compared to prior uncalibrated feed-forward methods, while using significantly fewer Gaussians.

研究の動機と目的

• Uniform から adaptive allocation へ移行することにより、前方伝播型 3D Gaussian Splatting における Gaussian 冗長性の削減を動機づける。
• 再訓練なしで最終 Gaussian 予算を制御する densification-score ガイド付きフレームワークを提案する。
• 複雑な領域にプリミティブを集中させつつ、視点間の重複を避けるよう空間的に適応的な Gaussian 配置を実現する。
• calibration のない画像セットから densification signals を予測するモデルを訓練し、単順推定再構成を可能にする。
• Gaussian の数を大幅に減らした状態で未校正の前方伝播型 3DGS で最先端の性能を示す。

提案手法

• コンテキスト画像と target Gaussian budget N_G から Gaussian の集合 G と予測カメラパラメータを出力する前方伝播ネットワーク F_theta を提供する。
• レベルごとの割り当てを可能にするため、マルチスケールの Gaussian パラメータマップと密化スコアマップを予測する。
• DINOv2 特徴を用いた VGGT-like の幾何バックボーンを用いてカメラパラメータと Gaussian マップの特徴を推定する。
• レンダリング損失から逆伝播されるビュー空間勾配で supervise された密化スコアを導入し、訓練時の予算ガイド付き割り当てを可能にする。
• 最終カウントがユーザー指定の予算と一致するよう、マルチスケールマップから Gaussian を選択する予算適合アルゴリズムを採用する。
• 新規ビューで ground-truth のターゲット姿勢を予測座標系へ合わせることで、視点間の一般化を促進する。

実験結果

リサーチクエスチョン

• RQ1 固定予算の下で、前方伝播型の 3D Gaussian Splatting パイプラインがシーンの複雑さに非均一に Gaussian を割り当てることが可能か。
• RQ2 densification-score ガイド付き割り当ては、同じ Gaussian 予算での均一割り当てベースラインより新規ビュー合成品質を改善するか。
• RQ3 未校正の画像コレクションから densification 信号を予測し再訓練なしで最終 Gaussian 予算を制御するモデルを訓練可能か。
• RQ4 RE10K で訓練した場合、未知データセットへどれだけ一般化するか。
• RQ5 ポーズフリーかつ未校正設定でもレンダリング忠実度を維持しつつ、効果的に動作できるか。

主な発見

Method	#GS (8 views)	LPIPS (8)	SSIM (8)	PSNR (8)	#GS (16 views)	LPIPS (16)	SSIM (16)	PSNR (16)	#GS (24 views)	LPIPS (24)	SSIM (24)	PSNR (24)
F4 Splat _tau+_	105K	0.142	0.847	25.26	210K	0.130	0.860	25.75	315K	0.128	0.862	25.85
F4 Splat _tau-_	447K	0.131	0.859	25.64	820K	0.120	0.869	26.10	1142K	0.119	0.870	26.18

• F4Splat は、未校正の前方伝播法として以前より少ない Gaussian で、競合するまたは優れた新規ビュー合成品質を達成する。
• 非均一な Gaussian 配置により、細部領域にプリミティブを集中させ、単純な領域での冗長性を減らすことを示す。
• 同じ Gaussian 予算下でも、F4Splat は pose-free および未校正ベースラインを LPIPS、SSIM、PSNR の8/16/24ビューで上回る。
• densification スレッシュホルド tau による予算制御は、総 Gaussian 数を減らしつつ忠実度を維持し、明示的な予算マッチングを実現する。
• RE10K から unseen ACID データへ転移する一般化テストで、高品質な再構成を少ない Gaussian で維持する強い性能を示す。