[論文レビュー] 3D Gaussian Splatting as Markov Chain Monte Carlo

Shakiba Kheradmand, Daniel Rebain+7 more|arXiv (Cornell University)|Apr 15, 2024

Markov Chains and Monte Carlo Methods被引用数 10

ひとこと要約

tldr: 本論文は3D Gaussian SplattingをStochastic Gradient Langevin Dynamicsを用いたMCMCとして再定式化し、配置のヒューリスティックを取り除き、L1正則化による稀疎化を可能にすることで、ガウスの数を減らし初期化に依存しない頑健で高品質なレンダリングを実現する。

ABSTRACT

While 3D Gaussian Splatting has recently become popular for neural rendering, current methods rely on carefully engineered cloning and splitting strategies for placing Gaussians, which can lead to poor-quality renderings, and reliance on a good initialization. In this work, we rethink the set of 3D Gaussians as a random sample drawn from an underlying probability distribution describing the physical representation of the scene-in other words, Markov Chain Monte Carlo (MCMC) samples. Under this view, we show that the 3D Gaussian updates can be converted as Stochastic Gradient Langevin Dynamics (SGLD) updates by simply introducing noise. We then rewrite the densification and pruning strategies in 3D Gaussian Splatting as simply a deterministic state transition of MCMC samples, removing these heuristics from the framework. To do so, we revise the 'cloning' of Gaussians into a relocalization scheme that approximately preserves sample probability. To encourage efficient use of Gaussians, we introduce a regularizer that promotes the removal of unused Gaussians. On various standard evaluation scenes, we show that our method provides improved rendering quality, easy control over the number of Gaussians, and robustness to initialization.

研究の動機と目的

• 背後のシーン分布からのサンプルとして3D Gaussianを再考し、頑健性と一般化性能を向上させる。
• Gaussian配置におけるヒューリスティックなクローン/スプリット/プルーニングを排除するため、MCMC ベースのサンプリング手法を採用する。
• 収束の安定性を崩さず探索を促進するよう、慎重に設計されたノイズ項を持つAdamベースのSGLD更新を導入する。
• 不透明度と共分散のL1正則化を通じて、Gaussiansの数を減らすための稀疎性を促進する。
• ランダム初期化または SfM/LiDAR ベースの初期化を用いた標準データセットで、レンダリング品質の改善を示す。

提案手法

• Gaussian Splatting を分布Gからのサンプリングとして定式化し、Gから抽出されたガウス集合のR_thetaとしてレンダリングする。
• 標準的なG.S.の更新はSGLDステップに似ており、探索を可能にするノイズ項を組み込む（式9と式10）ことを示す。
• AdamベースのSGLDでガウスを更新: g_i <- g_i - lambda_lr grad L_total + lambda_noise epsilon_i。
• 不透明度 o_i および共分散の固有値に対してL1正則化を適用し、稀疎性を促進する（式11）。
• 高不透明度領域からサンプリングして新たなガウスを追加し、総ガウス数の5%までに制限してMCMC過程を維持する。
• 死んだガウスを100イテレーションごとにテレポート（若返らせる）して、既存のガウスを高不透明度領域へクローンし、オプティマイザの状態をリセットする。

実験結果

リサーチクエスチョン

• RQ1 SGLD更新を用いたGaussian SplattingをMCMCとして扱うことで、ヒューリスティックな密化や剪定戦略の必要性を排除できるか？
• RQ2 Gaussianの不透明度と共分散に対するL1正則化は、レンダリング品質を損なうことなくGaussianの数を減らすか？
• RQ3 初期化に頑健で、ランダムやSfM/LiDARベースの初期点で良好に動作するか？
• RQ4 提案された確率的探索は、標準ベンチマーク全体で収束速度とレンダリング精度にどのように影響するか？
• RQ5 ガウスにノイズ項を追加することとノイズを使用しない場合のアブレーション性能の影響はどのようか？

主な発見

• SGLDベースの定式化は高品質なレンダリングと初期化への頑健性を生み出し、ランダム初期化を用いた3D Gaussian Splattingのベースラインを上回る。
• 同じGaussian予算の下で、NeRF Synthetic, MipNeRF 360, Tank & Temples, Deep Blendingデータセットでレンダリング品質が向上する。
• エントロピーを促すノイズ項の導入は、アブレーション研究で探索と再構築を改善する。
• 不透明度と共分散へのL1正則化は使用ガウス数を減らし、品質を維持しつつ推論を高速化する。
• この手法は、慎重に調整されたクローン/スプリットのヒューリスティックや初期点群への依存を排除し、シーンを問わず頑健な結果をもたらす。