[論文レビュー] GaussianPro: 3D Gaussian Splatting with Progressive Propagation

Kai Cheng, Xiaoxiao Long+6 more|arXiv (Cornell University)|Feb 22, 2024

Face and Expression Recognition被引用数 21

ひとこと要約

GaussianProは、3D Gaussian Splattingのために3Dガウシアンを濃密化する進行的伝播戦略を導入し、3Dおよび2Dの幾何学事前情報と平面制約を活用して、特に質感のない表面でのレンダリング品質を向上させます。

ABSTRACT

The advent of 3D Gaussian Splatting (3DGS) has recently brought about a revolution in the field of neural rendering, facilitating high-quality renderings at real-time speed. However, 3DGS heavily depends on the initialized point cloud produced by Structure-from-Motion (SfM) techniques. When tackling with large-scale scenes that unavoidably contain texture-less surfaces, the SfM techniques always fail to produce enough points in these surfaces and cannot provide good initialization for 3DGS. As a result, 3DGS suffers from difficult optimization and low-quality renderings. In this paper, inspired by classical multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that applies a progressive propagation strategy to guide the densification of the 3D Gaussians. Compared to the simple split and clone strategies used in 3DGS, our method leverages the priors of the existing reconstructed geometries of the scene and patch matching techniques to produce new Gaussians with accurate positions and orientations. Experiments on both large-scale and small-scale scenes validate the effectiveness of our method, where our method significantly surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in terms of PSNR.

研究の動機と目的

• SfMポイントがまばらなときや、質感が乏しい領域が初期化を妨げる場合に、3Dガウシアンの濃密化を改善する動機づけ。
• 正確な位置と向きを持つ新しいガウシアンを生成するため、3D幾何と2D画像空間の事前情報の両方を用いる進行的伝播戦略を提案。
• 実在の表面幾何に向かってガウシアンの形状を正則化する平面制約を組み込む。
• 大規模なWaymoおよびMipNeRF360データセットで最先端のレンダリング性能を示しつつ、効率を維持。
• トレーニング画像の数の変動に対する頑健性を示す。

提案手法

• 学習可能な属性を持つ異方性3Dガウシアンとしてシーンを表現し、スプラット基づくラスタライズでレンダリング。
• ガウシアンを2Dへ投影して深度・法線マップをレンダリングし、パッチマッチングを用いて隣接ピクセルを介して深度/法線を伝播させる。
• 深度と法線値を反復的に伝播させて伝播深度/法線マップを生成し、幾何的一貫性で信頼性の低い推定をフィルタリングし、レンダリングと伝播深度の差が大きい領域を逆投影して新しいガウシアンを初期化する。
• ガウシアン法線を伝播法線と整合させ、平面に向かってガウシアンを平坦化する平面正則化損失を適用する（L_normalとL_scale）。
• 最終損失を画像再構成損失、D-SSIM、平面制約の組み合わせとして計算（重み付き）。
• 3DGS最適化フレームワーク内で、50イテレーションごとに進行的伝播を有効化（3回の伝播パス）。

実験結果

リサーチクエスチョン

• RQ1 既存の幾何事前情報に導かれた進行的伝播は、素のクローン/分割戦略よりも質感の乏しい領域でより濃密で正確なガウシアンを生み出すことができるだろうか？
• RQ2 3Dガウシアン属性と伝播された2D深度/法線マップを結合することで、新規視点レンダリング品質と幾何のコンパクトさを向上させるか？
• RQ3 平面制約を組み込むことで、平面表面などのガウシアン幾何を改善しつつ、効率を犠牲にしないか？

主な発見

手法	FPS↑	PSNR Waymo↑	SSIM Waymo↑	LPIPS Waymo↓	PSNR MipNeRF360↑	SSIM MipNeRF360↑	LPIPS MipNeRF360↓
Instant-NGP	3	30.98	0.886	0.281	25.59	0.699	0.331
Mip-NeRF 360	0.02	30.09	0.909	0.262	27.69	0.792	0.237
Zip-NeRF	0.09	34.22	0.939	0.205	28.54	0.828	0.189
3DGS*	103	33.53	0.938	0.226	27.21	0.815	0.214
3DGS (Retrained)	102	-	-	-	27.88	0.824	0.209
GaussianPro (Ours)	108	34.68	0.949	0.191	27.92	0.825	0.208

• GaussianProはWaymoとMipNeRF360で3DGSと比較してPSNRが高く、SSIM/LPIPSは同等またはより良い。WaymoではPSNRが約1.15 dB改善。
• アブレーション解析は、進行的伝播が幾何とレンダリングを著しく改善することを示し、平面制約は法線と平面領域をさらに改善。
• GaussianProは、3DGSよりも良いレンダリング品質を提供しつつ競争力のあるFPSを維持し、トレーニング画像数の変動にも頑健である。
• Waymoでは、GaussianProはPSNR/SSIMでInstant-NGP、Mip-NeRF360、 Zip-NeRFなどのベースラインを上回り、速度も競争力がある。
• MipNeRF360では、GaussianProは再訓練済みの3DGSと同等またはわずかに改善し、効率的な性能と質感の乏しい領域での幾何改善を達成。