[논문 리뷰] EAGLES: Efficient Accelerated 3D Gaussians with Lightweight EncodingS

Sharath Girish, Kamal Gupta외 1명|arXiv (Cornell University)|2023. 12. 07.

Advanced Vision and Imaging인용 수 5

한 줄 요약

EAGLES는 3D 가우시안 스플래터링을 위한 경량화된 양자화 인코딩 방식을 제안하여 메모리 사용량을 10–20배 감소시키고 학습 및 렌더링 속도를 향상시켜 최신 기술 수준의 재구성 품질을 달성한다. 이는 색상, 회전, 투명도의 속성 양자화, 점진적인 굵기에서 세밀함으로의 학습, 그리고 통제된 조밀화를 결합하여 소비자 수준의 하드웨어에서도 효율적이고 실시간으로 새로운 시야를 합성할 수 있도록 한다.

ABSTRACT

Recently, 3D Gaussian splatting (3D-GS) has gained popularity in novel-view scene synthesis. It addresses the challenges of lengthy training times and slow rendering speeds associated with Neural Radiance Fields (NeRFs). Through rapid, differentiable rasterization of 3D Gaussians, 3D-GS achieves real-time rendering and accelerated training. They, however, demand substantial memory resources for both training and storage, as they require millions of Gaussians in their point cloud representation for each scene. We present a technique utilizing quantized embeddings to significantly reduce per-point memory storage requirements and a coarse-to-fine training strategy for a faster and more stable optimization of the Gaussian point clouds. Our approach develops a pruning stage which results in scene representations with fewer Gaussians, leading to faster training times and rendering speeds for real-time rendering of high resolution scenes. We reduce storage memory by more than an order of magnitude all while preserving the reconstruction quality. We validate the effectiveness of our approach on a variety of datasets and scenes preserving the visual quality while consuming 10-20x lesser memory and faster training/inference speed. Project page and code is available https://efficientgaussian.github.io

연구 동기 및 목표

• 3D 가우시안 스플래터링의 높은 메모리 및 계산 비용으로 인해 소비자 수준의 하드웨어에 구현이 제한되는 문제를 해결한다.
• 재구성 품질을 훼손하지 않고도 3D 가우시안 장면 표현의 저장 용량과 런타임 GPU 메모리 사용량을 줄인다.
• 점진적인 굵기에서 세밀함으로의 학습 및 통제된 조밀화를 통해 학습의 안정성과 수렴 속도를 향상시킨다.
• 가우시안 포인트 수를 최소화하고 속성 표현을 최적화하여 저메모리 시스템에서도 실시간 렌더링과 효율적인 추론을 가능하게 한다.
• 색상(SH), 회전(공분산), 투명도 속성의 잠재 양자화를 통해 메모리 효율성을 달성한다.

제안 방법

• 색상에 대한 구면 조화 함수(SH) 계수와 회전에 대한 공분산 행렬에 벡터 양자화를 적용하여 각 가우시안의 메모리 사용량을 감소시킨다.
• 투명도 계수를 이산 잠재 코드로 양자화하여 최적화를 향상시키고 플로터(floaters)와 같은 시각적 잡음을 감소시킨다.
• 다운샘플링, 평균 필터링 또는 가우시안 필터링을 통해 점진적인 이미지 스케일링을 활용한 굵기에서 세밀함으로의 학습 전략을 구현하여 최적화를 안정화시킨다.
• 조밀화(복제 및 분할)의 빈도를 통제하여 총 가우시안 수를 줄이면서도 재구성 정밀도를 유지한다.
• 양자화된 속성을 표현하기 위해 잠재 코드북을 사용하며, 순방향/역방향 전파 중에 이를 부동소수점 값으로 복원하여 미분 가능한 최적화를 수행한다.
• 점진적 스케일링을 70%의 학습 반복 동안 30%에서 100%로 점진적으로 해상도를 증가시키는 스케줄과 통합한다.

Figure 2 : Approach: 1) We quantize the attributes of the latents to reduce the storage memory of the Gaussians ( Sec. 4.1 ), 2) progressively train using a coarse-to-fine rendering resolution schedule to obtain higher quality reconstructions ( Sec. 4.2 ) and 3) control the densification process to

실험 결과

연구 질문

• RQ1 3D 가우시안의 속성 양자화가 시각적 품질을 떨어뜨리지 않고 메모리 사용량을 크게 줄일 수 있는가?
• RQ2 점진적인 굵기에서 세밀함으로의 학습이 3D 가우시안 스플래터링의 최적화 안정성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 조밀화 빈도를 줄이면 총 가우시안 수와 렌더링 성능에 어떤 영향을 미치는가?
• RQ4 점진적 학습에서 메모리 절감과 재구성 품질의 균형을 가장 잘 맞추는 이미지 필터링 전략(다운샘플링, 가우시안, 평균)은 무엇인가?
• RQ5 양자화, 점진적 학습, 통제된 조밀화의 조합이 소비자용 GPU에서 실시간 렌더링을 가능하게 할 수 있는가?

주요 결과

• EAGLES는 모든 시나리오에서 메모리 소비를 10–20배 감소시켰으며, 저장 메모리는 3D-GS의 43MB에서 가우시안 15×15 필터 기준 최소 21MB까지 감소했다.
• 3D-GS 대비 최대 25%까지 학습 시간이 단축되었으며, 다운샘플링 기반 점진적 스케일링을 사용한 경우 최고로 빠른 학습 시간은 9분 49초였다.
• 렌더링 FPS는 3D-GS의 211에서 가우시안 15×15 필터 기준 321로 상승하여 추론 속도 향상을 입증했다.
• 모든 시나리오에서 3D-GS와 0.2dB 이내의 PSNR를 유지했으며, 다운샘플링 또는 5×5 가우시안 필터링을 사용한 경우 최고 PSNR 23.41dB를 기록했다.
• Bicycle 시나리오에서 학습 중 최고 GPU 메모리 사용량은 3D-GS의 17.4GB에서 10GB로 감소하여 12GB 소비자용 GPU에의 배포를 가능하게 했다.
• 제거 실험 결과, 모든 구성 요소인 양자화, 점진적 학습, 조밀화 통제가 메모리 및 속도 향상에 기여한다는 것이 확인되었다.

Figure 3 : Histogram of opacity coefficients with and without quantization. Most coefficients result in values of 0 or 1 without quantization while quantization spreads the opacity values and allows for better blending.