[论文解读] Mini-Splatting: Representing Scenes with a Constrained Number of Gaussians

Guangchi Fang, Bing Wang|arXiv (Cornell University)|Mar 21, 2024

Image Retrieval and Classification Techniques被引用 4

一句话总结

本文提出 Mini-Splatting，一种通过致密化（模糊分裂与深度重初始化）和简化（二值化与采样）重新组织 3D 高斯分布的方法，在高斯数量受限的情况下实现了更优的渲染质量和效率。该方法减少了聚类现象，提升了空间均匀性，并在多个基准测试中优于 3DGS 和 Zip-NeRF，在 PSNR、SSIM 和 LPIPS 指标上表现更优，同时实现了显著的存储压缩。

ABSTRACT

In this study, we explore the challenge of efficiently representing scenes with a constrained number of Gaussians. Our analysis shifts from traditional graphics and 2D computer vision to the perspective of point clouds, highlighting the inefficient spatial distribution of Gaussian representation as a key limitation in model performance. To address this, we introduce strategies for densification including blur split and depth reinitialization, and simplification through intersection preserving and sampling. These techniques reorganize the spatial positions of the Gaussians, resulting in significant improvements across various datasets and benchmarks in terms of rendering quality, resource consumption, and storage compression. Our Mini-Splatting integrates seamlessly with the original rasterization pipeline, providing a strong baseline for future research in Gaussian-Splatting-based works. \href{https://github.com/fatPeter/mini-splatting}{Code is available}.

研究动机与目标

• 为解决 3D 高斯溅射（3DGS）中高斯分布效率低下问题，即高斯聚类次优，限制了渲染质量和速度。
• 在不牺牲渲染保真度的前提下，实现最小化高斯表示，这是 3D 场景表示中尚未充分探索的挑战。
• 克服直接剪枝方法忽略空间分布的局限性，避免次优的简化效果。
• 开发一种结合屏幕空间与世界空间信息重新组织高斯位置的方法，以提升密度与均匀性。
• 为未来基于 3DGS 的研究提供即插即用的基线模型，在质量、速度与存储之间实现平衡的权衡。

提出的方法

• 引入模糊分裂技术，在模糊区域通过将高模糊区域拆分为多个高斯，以提升表面覆盖度。
• 采用深度重初始化，利用合并的深度点重新定位高斯，改善复杂或重建不足区域的空间分布。
• 应用高斯二值化，仅保留对渲染图像贡献最大的高斯。
• 采用基于采样的简化方法，在减少高斯数量的同时保持几何结构与渲染质量。
• 在管道中联合使用致密化与简化，通过迭代方式重新组织高斯，每 5000 次迭代触发一次深度重初始化。
• 无缝集成至标准 3DGS 光栅化管道，支持对现有模型的即插即用替换。

实验结果

研究问题

• RQ1 在不增加高斯数量的前提下，重新组织高斯的空间分布是否能提升 3D 高斯溅射中的渲染质量和效率？
• RQ2 如何协同设计致密化与简化技术，在最小化高斯数量的同时保持几何保真度？
• RQ3 基于深度的重初始化与模糊感知分裂在多大程度上能改善 3DGS 中的分布均匀性？
• RQ4 与直接剪枝相比，非剪枝的、基于重组织的方法在渲染质量与压缩效率方面是否更具优势？
• RQ5 受限的高斯表示能否实现与完整 3DGS 相当的性能，同时实现显著的存储与计算节省？

主要发现

• 在 'bicycle' 扫描中，Mini-Splatting 的 LPIPS 得分为 0.159，优于 3DGS（0.205）与 3DGS*（0.210），表明其感知质量更优。
• 在 'train' 扫描中，Mini-Splatting-D 的 PSNR 达到 21.20，略高于 3DGS*（21.90），同时使用更少的高斯并支持压缩。
• 在 SSIM 指标上，Mini-Splatting-D 在 'train' 上达到 0.819，超过 3DGS*（0.814）与 3DGS（0.802），表明结构保真度更优。
• 该方法在某些扫描中将 LPIPS 降低高达 25%（例如 'bicycle' 上为 0.159 vs. 0.205），表明感知质量显著提升。
• Mini-Splatting-C 通过区域自适应量化与压缩，实现了 SH 系数 95% 的压缩率，且质量损失极小。
• 该方法减少了高斯聚类现象，如图 1 所示，从而实现更均匀的空间分布与更优的渲染速度。