[论文解读] 3D Gaussian Splatting as Markov Chain Monte Carlo

Shakiba Kheradmand, Daniel Rebain+7 more|arXiv (Cornell University)|Apr 15, 2024

Markov Chains and Monte Carlo Methods被引用 10

一句话总结

本文将 3D Gaussian Splatting 重新表述为 MCMC，使用 Stochastic Gradient Langevin Dynamics，并移除放置的启发式规则，通过 L1 正则化实现稀疏性，从而在更少的高斯体和初始化无关的情况下获得鲁棒、高质量的渲染。

ABSTRACT

While 3D Gaussian Splatting has recently become popular for neural rendering, current methods rely on carefully engineered cloning and splitting strategies for placing Gaussians, which can lead to poor-quality renderings, and reliance on a good initialization. In this work, we rethink the set of 3D Gaussians as a random sample drawn from an underlying probability distribution describing the physical representation of the scene-in other words, Markov Chain Monte Carlo (MCMC) samples. Under this view, we show that the 3D Gaussian updates can be converted as Stochastic Gradient Langevin Dynamics (SGLD) updates by simply introducing noise. We then rewrite the densification and pruning strategies in 3D Gaussian Splatting as simply a deterministic state transition of MCMC samples, removing these heuristics from the framework. To do so, we revise the 'cloning' of Gaussians into a relocalization scheme that approximately preserves sample probability. To encourage efficient use of Gaussians, we introduce a regularizer that promotes the removal of unused Gaussians. On various standard evaluation scenes, we show that our method provides improved rendering quality, easy control over the number of Gaussians, and robustness to initialization.

研究动机与目标

• 重新将 3D 高斯看作来自底层场景分布的样本，以提高鲁棒性和泛化能力。
• 通过采用基于 MCMC 的采样方法，消除在 Gaussian 放置中的启发式克隆/分裂/剪枝。
• 引入基于 Adam 的 SGLD 更新，并设计一个精心设计的噪声项以促进探索，同时不破坏收敛性。
• 通过对不透明度和协方差的 L1 正则化，鼓励稀疏性以减少高斯体数量。
• 在标准数据集上展示在随机初始化或基于 SfM/LiDAR 的初始化下的渲染质量提升。

提出的方法

• 将 Gaussian Splatting 形式化为从分布 G 采样并将高斯集合渲染为 R_theta，来自 G 的采样。
• 表明标准 G.S. 更新类似于一个 SGLD 步，并加入一个噪声项以实现探索（Eq. 9 和 Eq. 10）。
• 使用基于 Adam 的 SGLD 更新高斯：g_i <- g_i - lambda_lr grad L_total + lambda_noise epsilon_i。
• 对不透明度 o_i 和协方差特征值应用 L1 正则化以促进稀疏性（Eq. 11）。
• 通过从高不透明区域采样来添加新高斯，并将新增限制为总高斯数量的 5% 以保持 MCMC 过程。
• 每 100 次迭代对死亡的高斯进行传送（再生），通过将现有高斯克隆到高不透明区域并重置优化器状态。

实验结果

研究问题

• RQ1 将 Gaussian Splatting 视为具有 SGLD 更新的 MCMC，是否可以消除对启发式增密和剪枝策略的需求？
• RQ2 对高斯不透明度和协方差的 L1 正则化是否在不牺牲渲染质量的前提下减少高斯数量？
• RQ3 该方法对初始化是否鲁棒，在随机或基于 SfM/LiDAR 的起点下也能良好表现？
• RQ4 所提议的随机探索对收敛速度和在标准基准上的渲染精度有何影响？
• RQ5 在高斯上添加噪声项与不使用噪声在消融实验性能方面有何影响？

主要发现

• 基于 SGLD 的公式化实现提供高质量渲染并对初始化具有鲁棒性，在随机初始化的 3D Gaussian Splatting 基线中表现更优。
• 在相同高斯预算下，该方法在 NeRF Synthetic、MipNeRF 360、Tank & Temples、以及 Deep Blending 数据集上实现了更高的渲染质量。
• 引入鼓励熵的噪声项在消融研究中改善了探索与重建。
• 对不透明度和协方差的 L1 正则化减少了使用的高斯数量，加速了推理同时保持了质量。
• 该方法消除了对经过精心调整的克隆/分裂启发式和初始点云的依赖，在各场景中提供鲁棒的结果。