[论文解读] CompGS: Smaller and Faster Gaussian Splatting with Vector Quantization

K L Navaneet, Kossar Pourahmadi Meibodi+2 more|arXiv (Cornell University)|Nov 30, 2023

Computer Graphics and Visualization Techniques被引用 8

一句话总结

CompGS 通过对高斯参数应用向量量化来压缩3D Gaussian Splatting，在几乎无质量损失的情况下实现约20x的内存 redução，同时保持实时渲染速度。

ABSTRACT

3D Gaussian Splatting (3DGS) is a new method for modeling and rendering 3D radiance fields that achieves much faster learning and rendering time compared to SOTA NeRF methods. However, it comes with a drawback in the much larger storage demand compared to NeRF methods since it needs to store the parameters for several 3D Gaussians. We notice that many Gaussians may share similar parameters, so we introduce a simple vector quantization method based on K-means to quantize the Gaussian parameters while optimizing them. Then, we store the small codebook along with the index of the code for each Gaussian. We compress the indices further by sorting them and using a method similar to run-length encoding. Moreover, we use a simple regularizer to encourage zero opacity (invisible Gaussians) to reduce the storage and rendering time by a large factor through reducing the number of Gaussians. We do extensive experiments on standard benchmarks as well as an existing 3D dataset that is an order of magnitude larger than the standard benchmarks used in this field. We show that our simple yet effective method can reduce the storage cost for 3DGS by 40 to 50x and rendering time by 2 to 3x with a very small drop in the quality of rendered images.

研究动机与目标

• 在不牺牲渲染速度的前提下，降低高斯喷涂的存储开销。
• 引入一种简单的向量量化（VQ）方法，通过码本共享高斯参数。
• 证明 VQ 加上类似游程编码的编码方式能在最小图像退化的前提下显著降低内存。
• 扩展评估到更大规模和与 AR/VR 相关的数据集，以展示可扩展性。

提出的方法

• 将每个高斯参数集表示为一个向量并应用 K-means 形成码本的质心（码）。
• 将 DC 颜色、球面调和函数、尺度和旋转参数分开量化成多个码本；不对位置或不透明度进行量化。
• 使用直通估计器在量化参数下训练，同时在反向传播时更新未量化参数。
• 在推理阶段仅存储码本和每个高斯的代码索引，通过用它们的码替换高斯来减少存储。
• 按码对高斯进行排序，以实现索引的游程编码，从而进一步压缩索引数据。

实验结果

研究问题

• RQ1 高斯喷涂参数的向量量化是否能在不显著降低渲染质量的情况下显著减小模型尺寸？
• RQ2 逐参数量化（DC、SH、尺度、旋转）对重建质量和内存占用有何影响？
• RQ3 在跨场景共享单一码本是否具有良好泛化性，能否实现对更大数据集的可扩展压缩？
• RQ4 CompGS 的码本大小、训练时间和推理速度之间的权衡是什么？

主要发现

• CompGS 相对于原始的 3DGS 实现约 20x 的内存减少，渲染质量仅有小幅下降。
• 对颜色 SH 分量和协方差进行量化（使用合适大小的码本） preserves 细节，大致保持与前沿 NeRF 方法的竞争指标。
• 对位置或透明度进行量化不利，因此 CompGS 避免对这些参数进行量化以保留场景结构与外观。
• 跨多个场景共享的码本在仅有小幅性能损失的情况下实现泛化，便于在数据集间实现内存节省。
• 尽管训练阶段需进行 K-means 的压缩开销，CompGS 仍可保持与 3DGS 相近的实时渲染速度和较低的推理内存。