[논문 리뷰] Compressed 3D Gaussian Splatting for Accelerated Novel View Synthesis

Simon Niedermayr, Josef Stumpfegger외 1명|arXiv (Cornell University)|2023. 11. 17.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 방향성 색상 및 가우시안 파라미터에 대해 민감도 인식 벡터 클러스터링과 양자화 인식 미세조정을 사용하여 시각적 품질 손실를 최소화하면서 최대 31× 압축을 달성하는 압축된 3D 가우시안 스플래터링 표현을 제안한다. 압축된 시나리오는 GPU 래스터라이제이션을 통해 효율적으로 렌더링되어 경량 하드웨어에서 이전의 계산 기반 파이프라인 대비 최대 4배 높은 프레임 레이트를 제공한다.

ABSTRACT

Recently, high-fidelity scene reconstruction with an optimized 3D Gaussian splat representation has been introduced for novel view synthesis from sparse image sets. Making such representations suitable for applications like network streaming and rendering on low-power devices requires significantly reduced memory consumption as well as improved rendering efficiency. We propose a compressed 3D Gaussian splat representation that utilizes sensitivity-aware vector clustering with quantization-aware training to compress directional colors and Gaussian parameters. The learned codebooks have low bitrates and achieve a compression rate of up to $31 imes$ on real-world scenes with only minimal degradation of visual quality. We demonstrate that the compressed splat representation can be efficiently rendered with hardware rasterization on lightweight GPUs at up to $4 imes$ higher framerates than reported via an optimized GPU compute pipeline. Extensive experiments across multiple datasets demonstrate the robustness and rendering speed of the proposed approach.

연구 동기 및 목표

• 저전력 장치 및 네트워크를 통한 배포를 위한 3D 가우시안 스플래터링의 메모리 소비를 줄이고 렌더링 효율성을 향상시키기 위해.
• 최적화된 3D 가우시안 시나리오의 높은 메모리 점유율(수 GB를 초과할 수 있음)이 모바일 또는 VR/AR 하드웨어에서 실시간 렌더링을 방해하는 문제를 해결하기 위해.
• 게임 및 AR/VR 시스템과 같은 하드웨어 래스터라이제이션을 활용하는 애플리케이션에 3D 가우시안 표현을 효율적으로 통합하기 위해.
• 특히 색상 반사 함수(SH 계수)와 가우시안 형태 파라미터를 포함한 시나리오 파라미터의 엔드 투 엔드 압축을 탐색하면서도 시각적 정밀도를 유지하기 위해.
• 압축된 3D 가우시안 표현이 표준 GPU 래스터라이제이션 파이프라인을 사용해 고프레임 레이트로 렌더링될 수 있으며, 이는 계산 기반 렌더링을 능가한다는 것을 입증하기 위해.

제안 방법

• 3D 가우시안 파라미터 및 SH 계수에 민감도 인식 벡터 클러스터링을 적용하여, 시각적 열화를 최소화하기 위해 덜 민감한 성분을 우선적으로 클러스터링한다.
• 압축된 코드북의 정밀도를 회복하고 재구성 정확도를 향상시키기 위해 양자화 인식 훈련을 사용하여 미세조정한다.
• 추가적인 압축을 위해 공간 연속성을 활용하기 위해 가우시안들을 공간을 메우는 모터트 곡선(Morton curve)에 따라 재정렬한 후, 엔트로피 및 런레ング스 인코딩을 수행한다.
• 하드웨어 가속을 활용하여 저성능 GPU에서도 고프레임 레이트를 달성할 수 있도록, 새로운 GPU 래스터라이제이션 기반 렌더러를 제안한다.
• 압축 파이프라인은 색상(SH 계수)과 형태(Gaussian 파라미터)에 대해 별도로 적용되며, 구성 가능한 코드북 크기와 민감도 임계값을 지원한다.
• 메모리 대역폭과 저장 요구량을 줄여 스트리밍을 가능하게 하여, 대역폭 제약이 있는 환경에서도 배포가 가능하도록 지원한다.

실험 결과

연구 질문

• RQ1 3D 가우시안 스플래터링 표현은 시각적 품질 손실 없이 메모리 사용량을 효과적으로 줄일 수 있는가?
• RQ2 SH 계수와 가우시안 파라미터에 대한 민감도 인식 클러스터링은 재구성 정확도와 압축 효율성에 어떤 영향을 미치는가?
• RQ3 양자화 인식 미세조정은 3D 가우시안 시나리오에서 벡터 양자화 과정에서 손실된 성능을 어느 정도 회복할 수 있는가?
• RQ4 압축된 3D 가우시안 표현은 커스텀 컴퓨팅 코어 대신 표준 GPU 래스터라이제이션 파이프라인을 사용해 효율적으로 렌더링될 수 있는가?
• RQ5 다양한 실제 시나리오에서 시각적으로 구분 불가능한 품질을 유지하면서 달성 가능한 최대 압축률은 얼마인가?

주요 결과

• 제안된 방법은 PSNR 및 LPIPS 메트릭을 기준으로 실제 시나리오에서 최대 31× 압축을 달성하면서도 시각적 품질 손실를 최소화한다.
• 압축된 표현은 경량 GPU(예: RTX 3070M)에서 원본 계산 기반 렌더링 파이프라인 대비 최대 4배 높은 프레임 레이트를 제공한다.
• 클러스터링을 위한 민감도 임계값(βc 및 βg)은 압축률과 품질 사이의 트레이드오���을 가능하게 하며, 기본 설정에서는 28.80 GB에서 28.92 GB로 크기 감소를 달성하면서도 높은 정밀도를 유지한다.
• SH 계수와 가우시안 파라미터 각각에 대해 코드북 크기를 8192로 설정할 경우 품질과 메모리 사용량 사이의 최적 균형을 이룬다. 이는 기준 대비 최대 0.58 PSNR 포인트의 오차 감소를 기록한다.
• 모터트 순서 정렬 후 엔트로피 및 런레ング스 인코딩을 통해 메모리 사용량이 추가로 약 50% 감소하여 전체 압축에 기여한다.
• Mip-NeRF360를 포함한 여러 벤치마크 데이터셋에서 일관된 성능 향상을 기록하며 압축률과 속도 향상이 뚜렷하다.