[论文解读] CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

Yang Liu, Chuanchen Luo+3 more|arXiv (Cornell University)|Nov 1, 2024

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用 3

一句话总结

CityGaussianV2 提出了一种高效且几何准确的三维重建方法，适用于大规模场景，通过利用2D高斯溅射（2D Gaussian Splatting）结合分解梯度密集化（decomposed-gradient densification）与深度回归，加速收敛并减少模糊。该方法引入了一种拉长滤波器，以防止并行训练期间高斯分布数量的爆炸性增长，从而实现10倍压缩、25%的训练加速以及50%的内存减少，同时在大规模基准测试中保持了高几何保真度和渲染质量。

ABSTRACT

Recently, 3D Gaussian Splatting (3DGS) has revolutionized radiance field reconstruction, manifesting efficient and high-fidelity novel view synthesis. However, accurately representing surfaces, especially in large and complex scenarios, remains a significant challenge due to the unstructured nature of 3DGS. In this paper, we present CityGaussianV2, a novel approach for large-scale scene reconstruction that addresses critical challenges related to geometric accuracy and efficiency. Building on the favorable generalization capabilities of 2D Gaussian Splatting (2DGS), we address its convergence and scalability issues. Specifically, we implement a decomposed-gradient-based densification and depth regression technique to eliminate blurry artifacts and accelerate convergence. To scale up, we introduce an elongation filter that mitigates Gaussian count explosion caused by 2DGS degeneration. Furthermore, we optimize the CityGaussian pipeline for parallel training, achieving up to 10$ imes$ compression, at least 25% savings in training time, and a 50% decrease in memory usage. We also established standard geometry benchmarks under large-scale scenes. Experimental results demonstrate that our method strikes a promising balance between visual quality, geometric accuracy, as well as storage and training costs. The project page is available at https://dekuliutesla.github.io/CityGaussianV2/.

研究动机与目标

• 解决在大规模、复杂场景中3D高斯溅射存在的几何不准确与收敛缓慢问题。
• 克服2D高斯溅射在可扩展性方面的挑战，特别是并行训练期间高斯数量爆炸的问题。
• 在不牺牲几何或渲染质量的前提下，降低训练与内存成本，以实现在低端设备上的实时部署。
• 建立用于评估大规模场景重建中几何准确性的标准化基准。
• 实现高效、并行且压缩的训练流水线，在复杂城市与自然场景中保持高保真度。

提出的方法

• 采用2D高斯溅射作为基础原语，因其具备优越的泛化能力。
• 引入基于分解梯度的密集化（DGD），以加速收敛并消除模糊的表面元素（blurry surfels）。
• 通过Depth-Anything V2引导的深度回归，提升训练过程中的几何准确性。
• 应用拉长滤波器以抑制高度拉长的高斯分布的增长，缓解并行训练中高斯数量的爆炸性增长。
• 实施基于区块的并行调优，结合基于贡献度的剪枝与二阶球谐函数（spherical harmonics of degree 2），以降低内存与存储开销。
• 集成基于贡献度的向量树量化（vectree quantization）与优化后处理，实现最高达10倍的压缩率与75%的存储减少。

实验结果

研究问题

• RQ1 如何优化2D高斯溅射，以在大规模场景重建中实现更快的收敛速度与更高的几何准确性？
• RQ2 在复杂场景中并行训练2DGS时，应采用何种机制防止高斯数量的爆炸性增长？
• RQ3 并行训练与压缩在多大程度上可降低内存与存储成本，同时保持渲染与几何质量？
• RQ4 来自预训练模型（如Depth-Anything V2）的深度监督对2DGS重建中的几何准确性有何影响？
• RQ5 是否可通过无需后剪枝或蒸馏的简化训练流水线，实现与现有方法相当或更优的性能？

主要发现

• 与CityGaussian相比，CityGaussianV2将内存使用量减少50%（14.2 GB vs. 31.5 GB），训练速度提升25%（176分钟 vs. 254分钟），F1分数提升至0.474（原为0.450）。
• 通过基于贡献度的向量树量化，存储成本降低75%，最终模型大小仅为0.44 GB。
• 从头开始使用二阶球谐函数（degree 2），内存使用量降低超过25%（14.2 GB vs. 31.5 GB），并使推理速度提升4.2 FPS。
• 引入深度回归与DGD后，PSNR提升2.38 dB，F1分数提升0.064，显著提升了渲染与几何质量。
• 从7,000轮预训练开始，总训练时间由3小时缩短至2小时，模型大小压缩至300 MB以下，支持在低端设备上部署。
• 在GauU-Scene基准测试中，该方法实现PSNR 23.49与F1分数0.474，优于基线2DGS与CityGaussian，在质量和效率方面均表现更优。