[论文解读] CityGaussian: Real-time High-quality Large-Scale Scene Rendering with Gaussians

Yang Liu, He Guan+5 more|arXiv (Cornell University)|Apr 1, 2024

Computer Graphics and Visualization Techniques被引用 8

一句话总结

CityGaussian (CityGS) 引入分治训练方法和基于块的细节层次（LoD）策略，以实现大规模 3D 高斯点云溶解场的实时高保真渲染。它在大数据集上达到最先进的质量，同时在不同尺度上保持实时性能。

ABSTRACT

The advancement of real-time 3D scene reconstruction and novel view synthesis has been significantly propelled by 3D Gaussian Splatting (3DGS). However, effectively training large-scale 3DGS and rendering it in real-time across various scales remains challenging. This paper introduces CityGaussian (CityGS), which employs a novel divide-and-conquer training approach and Level-of-Detail (LoD) strategy for efficient large-scale 3DGS training and rendering. Specifically, the global scene prior and adaptive training data selection enables efficient training and seamless fusion. Based on fused Gaussian primitives, we generate different detail levels through compression, and realize fast rendering across various scales through the proposed block-wise detail levels selection and aggregation strategy. Extensive experimental results on large-scale scenes demonstrate that our approach attains state-of-theart rendering quality, enabling consistent real-time rendering of largescale scenes across vastly different scales. Our project page is available at https://dekuliutesla.github.io/citygs/.

研究动机与目标

• 鼓励对超越小物体或数据集的大规模城市景观进行实时、高保真重建与渲染。
• 解决在训练和渲染数千万个高斯分布时的内存和计算瓶颈。
• 提出带全局高斯先验的分治训练管线，以实现并行的、分块式细化。
• 引入基于块的 Level-of-Detail 策略，在变化的相机尺度下高效渲染大规模场景。

提出的方法

• 使用全局三维高斯先验初始化分块微调。
• 收缩空间高斯分区实现跨块的均匀数据分布。
• 通过 SSIM 损失引导的自适应块内数据分配，确保块相关性。
• 对高斯进行分块并行训练，融合为全局场景。
• 压缩高斯以创建多细节等级，在渲染时应用基于块的 LoD。
• 视锥体感知的块级高斯选择用于实时栅格化。

实验结果

研究问题

• RQ1 如何高效训练和渲染大规模 3D 高斯溶解场而不产生内存爆炸？
• RQ2 全局先验和收缩空间分区能否提升分块融合与重建质量？
• RQ3 分块 LoD 是否能在极大尺度差异下实现实时渲染同时保持保真度？
• RQ4 数据分配策略和 LoD 设计选择对渲染速度和质量的影响是什么？

主要发现

数据集	SSIM ⬆	PSNR ⬆	LPIPS ⬇
MatrixCity (Ours)	0.865	27.46	0.204
MatrixCity (3DGS †)	0.735	23.67	0.384
Residence (Ours)	0.813	22.00	0.211
Residence (3DGS †)	0.791	21.44	0.2774
Rubble (Ours)	0.813	25.77	0.228
Rubble (3DGS †)	0.720	20.46	0.305
Building (Ours)	0.778	21.55	0.246
Building (3DGS †)	0.504	20.93	0.504

• CityGS 在 MatrixCity 小城市场景上实现了最先进的渲染保真度，SSIM 0.865，PSNR 27.46，LPIPS 0.204，在不使用 LoD 的情况下。
• CityGS 在大规模数据集上超越基于 NeRF 的基线，并在多种真实场景（如 Residence、Rubble、Building）上提供高质量结果。
• LoD 使跨尺度变体实现实时渲染；具有三个细节等级的 LoD 比单一细节设置保真度更高，同时保持高帧率（例如 LoD 达到 53.7 FPS，而不使用 LoD 时为 21.6 FPS）。
• 基于块的数据划分和全局先验与仅使用粗略全局先验相比，显著提高 SSIM/LPIPS/PSNR。
• 消融研究显示块数和 SSIM 阈值 ε 影响质量和数据效率，平衡的块配置产生最佳结果。
• CityGS 支持场景编辑 due to its explicit Gaussian-based representation, enabling edits and object replacements.