[논문 리뷰] CompGS: Smaller and Faster Gaussian Splatting with Vector Quantization

K L Navaneet, Kossar Pourahmadi Meibodi외 2명|arXiv (Cornell University)|2023. 11. 30.

Computer Graphics and Visualization Techniques인용 수 8

한 줄 요약

CompGS는 Gaussian Splatting을 3D로 압축하고 Gaussian 매개변수에 벡터 양자화를 적용하여 약 ~20x의 메모리 감소를 달성하되 품질 손실은 최소화하고 실시간 렌더링 속도를 유지합니다.

ABSTRACT

3D Gaussian Splatting (3DGS) is a new method for modeling and rendering 3D radiance fields that achieves much faster learning and rendering time compared to SOTA NeRF methods. However, it comes with a drawback in the much larger storage demand compared to NeRF methods since it needs to store the parameters for several 3D Gaussians. We notice that many Gaussians may share similar parameters, so we introduce a simple vector quantization method based on K-means to quantize the Gaussian parameters while optimizing them. Then, we store the small codebook along with the index of the code for each Gaussian. We compress the indices further by sorting them and using a method similar to run-length encoding. Moreover, we use a simple regularizer to encourage zero opacity (invisible Gaussians) to reduce the storage and rendering time by a large factor through reducing the number of Gaussians. We do extensive experiments on standard benchmarks as well as an existing 3D dataset that is an order of magnitude larger than the standard benchmarks used in this field. We show that our simple yet effective method can reduce the storage cost for 3DGS by 40 to 50x and rendering time by 2 to 3x with a very small drop in the quality of rendered images.

연구 동기 및 목표

• Gaussian Splatting의 저장 공간 발자국을 렌더링 속도 희생 없이 줄이는 것을 목표로 한다.
• 코드북을 통해 Gaussian 매개변수를 공유하는 간단한 벡터 양자화 (VQ) 방법을 도입한다.
• VQ와 런-길이 유사 인코딩을 이용해 이미지 저하를 최소화하면서 메모리를 substantial하게 줄인다.
• 확장 평가를 Larger-scale 및 AR/VR 관련 데이터셋으로 수행하여 확장성을 입증한다.

제안 방법

• 각 Gaussian 매개변수 세트를 벡터로 표현하고 K-means를 적용하여 중심(코드)들의 코드북을 형성한다.
• DC 색상, 구면 조화( SH ), 스케일, 회전 매개변수를 각각 다수의 코드북으로 양자화하되 위치나 불투명도는 양자화하지 않는다.
• 직통 추정기(straight-through estimator)를 사용하여 양자화된 매개변수로 학습하고 역전파 시 비양자화 매개변수를 업데이트한다.
• 추론 시 코드북과 각 Gaussian의 코드 인덱스만 저장하여 Gaussian을 코드로 대체함으로써 저장 공간을 줄인다.
• 코드에 따라 Gaussians를 정렬하여 인덱스의 런-길이 인코딩을 가능하게 하여 인덱스 데이터를 추가로 압축한다.

실험 결과

연구 질문

• RQ1 Gaussian Splatting 매개변수의 벡터 양자화가 렌더링 품질의 큰 손실 없이 모델 크기를 크게 줄일 수 있는가?
• RQ2 매개변수별 양자화(DC, SH, 스케일, 회전)가 재구성 품질과 메모리 발자국에 어떤 영향을 미치는가?
• RQ3 장면 간에 단일 코드북을 공유하는 것이 일반화되어 더 큰 데이터셋에서 확장 가능한 압축을 가능하게 하는가?
• RQ4 CompGS의 코드북 크기, 학습 시간, 추론 속도 간의 트레이드오프는 어떠한가?

주요 결과

• CompGS는 원래의 3DGS에 비해 약 20x의 메모리 감소를 달성하면서 렌더링 품질이 크게 감소하지 않는다.
• 적절한 크기의 코드북으로 색상 SH 구성 요소와 공분산을 양자화하면 대부분의 디테일을 보존하고 최첨단 NeRF 방법에 비해 경쟁력 있는 지표를 유지한다.
• 위치나 불투명도 양자화는 재질과 장면 구조를 유지하는 데 문제가 되므로 CompGS는 이 매개변수의 양자화를 피한다.
• 여러 장면에 걸쳐 공유되는 코드북은 작은 성능 페널티로 일반화되어 데이터셋 간의 메모리 절감을 가능하게 한다.
• CompGS는 학습 중 K-means의 압축 오버헤드에도 불구하고 3DGS와 유사한 실시간 렌더링 속도 및 낮은 추론 메모리를 유지한다.