[논문 리뷰] gsplat: An Open-Source Library for Gaussian Splatting

Vickie Ye, Ruilong Li외 9명|arXiv (Cornell University)|2024. 09. 10.

Advanced Data Storage Technologies인용 수 6

한 줄 요약

gsplat은 모듈식 API와 밀도화 전략으로 Kerbl et al. (2023)보다 속도와 메모리 사용을 개선한 Gaussian Splatting용 오픈 소스 PyTorch-CUDA 라이브러리입니다.

ABSTRACT

gsplat is an open-source library designed for training and developing Gaussian Splatting methods. It features a front-end with Python bindings compatible with the PyTorch library and a back-end with highly optimized CUDA kernels. gsplat offers numerous features that enhance the optimization of Gaussian Splatting models, which include optimization improvements for speed, memory, and convergence times. Experimental results demonstrate that gsplat achieves up to 10% less training time and 4x less memory than the original implementation. Utilized in several research projects, gsplat is actively maintained on GitHub. Source code is available at https://github.com/nerfstudio-project/gsplat under Apache License 2.0. We welcome contributions from the open-source community.

연구 동기 및 목표

• 가우시안 스플래팅 모델의 효율적인 학습 및 개발을 촉진한다.
• 연구 확장 및 알고리즘 커스터마이제를 위한 모듈식이고 사용하기 쉬운 API를 제공한다.
• 밀도화 전략, 자세 최적화, 미분 가능한 렌더링과 같은 최신 기능을 도입한다.
• 렌더링 품질을 유지하면서 속도와 메모리 성능을 향상시킨다.

제안 방법

• Gaussian Splatting을 위한 CUDA 최적화 백엔드를 갖춘 PyTorch 위의 Python 바인딩.
• 농도화 전략(ADC, Absgrad, MCMC) 간의 쉬운 전환이 가능한 모듈식 API.
• 가우시안 매개변수 및 카메라 포즈로의 그래디언트 흐름을 갖는 미분 가능한 렌더링.
• 추가 기능 및 에일리어싱 방지(Mip-Splatting)를 위한 깊이 렌더링 및 N-D 렌더링 지원.
• ADC 밀도화를 사용하는 MipNeRF360에서 Kerbl et al. (2023) 대비 학습 성능을 비교하는 실험적 평가.
• 교육적 활용과 확장성을 강조하는 문서화 및 다중 GPU 지원.

실험 결과

연구 질문

• RQ1 가우시안 스플래팅은 PyTorch 바인딩과 CUDA 커널을 갖춘 모듈식의 오픈 소스 도구에서 이점을 얻을 수 있는가?
• RQ2 현대의 밀도화 전략(ADC, Absgrad, MCMC)이 품질 저하 없이 학습 효율과 메모리 사용을 향상시키는가?
• RQ3 미분 가능 렌더링을 통한 자세 최적화가 Gaussian Splatting에서 가능하며, 재구성 정확도에 어떤 영향을 미치는가?
• RQ4 깊이 렌더링과 에일리어싱 방지 개선이 실제로 Gaussian Splatting의 충실도와 사용성에 어떤 영향을 미치는가?

주요 결과

PSNR 상승 ↑	SSIM 상승 ↑	LPIPS 하강 ↓	메모리 사용량 하강 ↓	소요 시간(분) 하강 ↓
3DGS -7k	27.23	0.83	0.20	7.7 GB	4.64
gsplat -7k	27.23	0.83	0.20	4.3 GB	3.36
3DGS -30k	28.95	0.87	0.14	9.0 GB	26.19
gsplat -30k	29.00	0.87	0.14	5.6 GB	19.39

• gsplat은 원래 3DGS 구현보다 최대 10% 더 빠른 학습 시간을 달성한다.
• gsplat은 Kerbl et al. (2023)보다 최대 4배 적은 메모리를 사용하면서 동일한 렌더링 성능을 유지한다.
• ADC, Absgrad, 및 MCMC 변형을 통해 GSplat은 추가로 메모리 및 학습 시간을 줄일 수 있다(예: 표 2에서 MCMC 변형은 약 1.0M 가우시안과 약 1.98 GB 메모리 사용).
• 미분 가능한 포즈 최적화가 지원되어 카메라 뷰 행렬에 대한 그래디언트를 가능하게 한다.
• 에일리어스 없는 렌더링과 깊이 렌더링이 통합되어 더 풍부한 장면 표현이 가능하다.