[论文解读] EAGLES: Efficient Accelerated 3D Gaussians with Lightweight EncodingS

Sharath Girish, Kamal Gupta+1 more|arXiv (Cornell University)|Dec 7, 2023

Advanced Vision and Imaging被引用 5

一句话总结

EAGLES 提出了一种轻量级、量化编码方案，用于3D高斯溅射，将内存使用量减少10–20倍，同时加速训练和渲染，在保持最先进重建质量的前提下实现。该方法结合了属性量化（颜色、旋转、不透明度）、渐进式粗到细训练以及受控的密集化策略，实现了在消费级硬件上的高效、实时新视角合成。

ABSTRACT

Recently, 3D Gaussian splatting (3D-GS) has gained popularity in novel-view scene synthesis. It addresses the challenges of lengthy training times and slow rendering speeds associated with Neural Radiance Fields (NeRFs). Through rapid, differentiable rasterization of 3D Gaussians, 3D-GS achieves real-time rendering and accelerated training. They, however, demand substantial memory resources for both training and storage, as they require millions of Gaussians in their point cloud representation for each scene. We present a technique utilizing quantized embeddings to significantly reduce per-point memory storage requirements and a coarse-to-fine training strategy for a faster and more stable optimization of the Gaussian point clouds. Our approach develops a pruning stage which results in scene representations with fewer Gaussians, leading to faster training times and rendering speeds for real-time rendering of high resolution scenes. We reduce storage memory by more than an order of magnitude all while preserving the reconstruction quality. We validate the effectiveness of our approach on a variety of datasets and scenes preserving the visual quality while consuming 10-20x lesser memory and faster training/inference speed. Project page and code is available https://efficientgaussian.github.io

研究动机与目标

• 解决3D高斯溅射带来的高内存与计算成本问题，从而限制其在消费级硬件上的部署。
• 在不牺牲重建质量的前提下，减少3D高斯场景表示的存储和运行时GPU内存使用量。
• 通过渐进式粗到细训练和受控的密集化策略，提升训练稳定性和收敛速度。
• 通过最小化高斯点数量并优化属性表示，实现在低内存系统上的实时渲染与高效推理。
• 通过颜色（SH）、旋转（协方差）和不透明度属性的潜在量化实现内存效率。

提出的方法

• 对颜色的球谐（SH）系数和旋转的协方差矩阵应用向量量化，以减少每个高斯点的内存占用。
• 将不透明度系数量化为离散潜在码，以改善优化过程并减少如浮动物体等视觉伪影。
• 通过下采样、均值滤波或高斯滤波实现渐进式图像缩放，采用粗到细的训练策略以稳定优化过程。
• 控制密集化（克隆与分裂）的频率，以在保持重建保真度的同时减少高斯点总数。
• 使用潜在码本表示量化后的属性，并在前向/反向传播过程中将其解码回浮点值，以实现可微优化。
• 将渐进式缩放与调度相结合，使分辨率在训练迭代的70%时间内从30%逐步提升至100%。

Figure 2 : Approach: 1) We quantize the attributes of the latents to reduce the storage memory of the Gaussians ( Sec. 4.1 ), 2) progressively train using a coarse-to-fine rendering resolution schedule to obtain higher quality reconstructions ( Sec. 4.2 ) and 3) control the densification process to

实验结果

研究问题

• RQ1 3D高斯属性的量化是否能显著减少内存使用量而不降低视觉质量？
• RQ2 渐进式粗到细训练在3D高斯溅射中如何影响优化稳定性和收敛速度？
• RQ3 降低密集化频率对高斯点数量和渲染性能有何影响？
• RQ4 在渐进式训练中，哪种图像滤波策略（下采样、高斯、均值）在内存节省与重建质量之间达到最佳平衡？
• RQ5 量化、渐进式训练与受控密集化三者结合是否能实现在消费级GPU上的实时渲染？

主要发现

• EAGLES 在所有场景中均将内存消耗减少10–20倍，存储内存从3D-GS的43MB降至最低21MB（高斯15×15滤波器）。
• 与3D-GS相比，训练时间最多减少25%，最快训练耗时为9分49秒，采用基于下采样的渐进式缩放。
• 渲染帧率从3D-GS的211 FPS提升至321 FPS（高斯15×15滤波器），表明推理速度显著提升。
• 所有场景的PSNR均保持在3D-GS的0.2dB以内，最佳PSNR达23.41dB，采用下采样或5×5高斯滤波实现。
• 在Bicycle场景中，峰值GPU内存使用量从3D-GS的17.4GB降至10GB，使12GB消费级GPU可实现部署。
• 消融实验证实，所有组件——量化、渐进式训练与密集化控制——均对内存与速度提升有显著贡献。

Figure 3 : Histogram of opacity coefficients with and without quantization. Most coefficients result in values of 0 or 1 without quantization while quantization spreads the opacity values and allows for better blending.