[论文解读] Compressed 3D Gaussian Splatting for Accelerated Novel View Synthesis

Simon Niedermayr, Josef Stumpfegger+1 more|arXiv (Cornell University)|Nov 17, 2023

Advanced Vision and Imaging被引用 6

一句话总结

该论文提出了一种压缩的3D高斯点阵表示方法，通过采用敏感度感知的向量聚类和量化感知的微调，对方向性颜色和高斯参数进行处理，实现了高达31倍的压缩率，同时视觉质量损失极小。压缩后的场景通过GPU光栅化技术高效渲染，在轻量化硬件上实现的帧率比以往基于计算的渲染管道高出最多4倍。

ABSTRACT

Recently, high-fidelity scene reconstruction with an optimized 3D Gaussian splat representation has been introduced for novel view synthesis from sparse image sets. Making such representations suitable for applications like network streaming and rendering on low-power devices requires significantly reduced memory consumption as well as improved rendering efficiency. We propose a compressed 3D Gaussian splat representation that utilizes sensitivity-aware vector clustering with quantization-aware training to compress directional colors and Gaussian parameters. The learned codebooks have low bitrates and achieve a compression rate of up to $31 imes$ on real-world scenes with only minimal degradation of visual quality. We demonstrate that the compressed splat representation can be efficiently rendered with hardware rasterization on lightweight GPUs at up to $4 imes$ higher framerates than reported via an optimized GPU compute pipeline. Extensive experiments across multiple datasets demonstrate the robustness and rendering speed of the proposed approach.

研究动机与目标

• 降低3D高斯点阵表示的内存占用，并提升其在低功耗设备和网络环境下的渲染效率。
• 解决优化后3D高斯场景的高内存占用问题，其内存占用可能超过数GB，从而阻碍移动设备或VR/AR硬件上的实时渲染。
• 实现3D高斯表示在基于硬件光栅化的应用中的高效集成，例如游戏和AR/VR系统。
• 探索对场景参数（尤其是SH系数和高斯形状参数）的端到端压缩，同时保持视觉保真度。
• 证明压缩后的3D高斯表示可通过标准GPU光栅化渲染管线实现高帧率渲染，性能优于基于计算内核的渲染方法。

提出的方法

• 对3D高斯参数和SH系数应用敏感度感知的向量聚类，优先对敏感度较低的组件进行聚类，以最小化视觉失真。
• 采用量化感知训练对压缩后的码书进行微调，恢复聚类过程中损失的信息，提升重建精度。
• 在熵编码和游程编码前，沿空间填充的Morton曲线对高斯点进行重排，以利用空间局部性，实现额外压缩。
• 提出一种新型基于GPU光栅化的渲染器，利用硬件加速在低端GPU上实现高帧率渲染。
• 压缩管道分别应用于颜色（SH系数）和形状（高斯参数），支持可配置的码书大小和敏感度阈值。
• 通过降低内存带宽和存储需求，支持流式传输，使系统可部署于带宽受限的环境。

实验结果

研究问题

• RQ1 3D高斯点阵表示能否被有效压缩，以减少内存占用，同时保持视觉质量无明显退化？
• RQ2 对SH系数和高斯参数进行敏感度感知聚类，如何影响重建质量和压缩效率？
• RQ3 量化感知微调在多大程度上能恢复3D高斯场景中向量量化过程导致的性能损失？
• RQ4 压缩后的3D高斯表示能否通过标准GPU光栅化渲染管线高效渲染，而非依赖自定义计算内核？
• RQ5 在多种真实世界场景中，保持感知上不可区分的图像质量，最大可实现的压缩率是多少？

主要发现

• 所提方法在真实世界场景中实现了高达31倍的压缩率，视觉质量退化极小，PSNR和LPIPS指标测量结果表明其表现优异。
• 压缩后的表示在轻量化GPU（如RTX 3070M）上实现的帧率比原始基于计算的渲染管道高出最多4倍。
• 聚类的敏感度阈值（βc和βg）实现了压缩率与质量之间的可调平衡，默认设置下将28.80 GB的原始大小压缩至28.92 GB，同时保持高保真度。
• SH系数和高斯参数的码书大小均为8192时，质量与内存使用之间达到最佳平衡，与基线相比最大误差降低达0.58 PSNR点。
• 在Morton顺序排序后进行熵编码和游程编码，使内存占用额外减少50%，对整体压缩效果贡献显著。
• 该方法在多个基准数据集（包括Mip-NeRF360）上均表现出稳健性能，压缩率和速度均有稳定提升。