[논문 리뷰] Mini-Splatting: Representing Scenes with a Constrained Number of Gaussians

Guangchi Fang, Bing Wang|arXiv (Cornell University)|2024. 03. 21.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

이 논문은 제한된 수의 가우시안을 유지하면서도 렌더링 품질과 효율성을 향상시키기 위해 3D 가우시안 분포를 재구조화하는 메서드인 Mini-Splatting을 제안한다. 이는 조밀화(흐림 분할 및 깊이 재초기화)와 단순화(이진화 및 샘플링)를 통해 이루어지며, 클러스터링을 감소시키고 공간의 균일성을 향상시킨다. 여러 벤치마크에서 3DGS 및 Zip-NeRF보다 PSNR, SSIM, LPIPS에서 뛰어난 성능을 보이며, 저장 용량을 크게 압축할 수 있다.

ABSTRACT

In this study, we explore the challenge of efficiently representing scenes with a constrained number of Gaussians. Our analysis shifts from traditional graphics and 2D computer vision to the perspective of point clouds, highlighting the inefficient spatial distribution of Gaussian representation as a key limitation in model performance. To address this, we introduce strategies for densification including blur split and depth reinitialization, and simplification through intersection preserving and sampling. These techniques reorganize the spatial positions of the Gaussians, resulting in significant improvements across various datasets and benchmarks in terms of rendering quality, resource consumption, and storage compression. Our Mini-Splatting integrates seamlessly with the original rasterization pipeline, providing a strong baseline for future research in Gaussian-Splatting-based works. \href{https://github.com/fatPeter/mini-splatting}{Code is available}.

연구 동기 및 목표

• 3D 가우시안 스플래터링(3DGS)에서 가우시안의 분포가 비효율적으로 군집되는 문제를 해결함으로써, 렌더링 품질과 속도를 제한하는 요소를 제거하고자 한다.
• 렌더링 정밀도를 손상시키지 않은 채 최소한의 가우시안 수로 표현 가능한 방법을 개발하고자 하며, 이는 3D 시나리오 표현 분야에서 거의 탐색되지 않은 과제이다.
• 공간 분포를 忽시하는 직접적 제거 방법의 한계를 극복하고자 하며, 이는 최적의 단순화를 이룰 수 없게 만든다.
• 스クリーン 스페이스 및 월드 스페이스 정보를 모두 활용해 가우시안 위치를 재구성함으로써 밀도와 균일성을 향상시키고자 한다.
• 품질, 속도, 저장 용량 간 균형 잡힌 트레이드오프를 제공하는 즉각적인 대체 기반 모델을 향후 3DGS 기반 연구에 제공하고자 한다.

제안 방법

• 흐림 분할(blur split)을 도입하여, 흐린 영역에 있는 가우시안을 더 작은 다수의 가우시안으로 분할함으로써 표면 커버리지 향상.
• 깊이 재초기화(depth reinitialization)를 활용해 융합된 깊이 포인트를 기반으로 가우시안을 재위치시켜, 복잡하거나 부족하게 재구성된 영역의 공간 분포 개선.
• 가우시안 이진화(Gaussian binarization)를 적용하여 렌더링된 이미지에 기여도가 가장 큰 가우시안만 유지함으로써 효율성 확보.
• 샘플링 기반 단순화를 통해 기하학적 구조와 렌더링 품질을 유지하면서도 가우시안 수를 감소시킴.
• 조밀화와 단순화를 결합한 파이프라인을 구축하여 반복적으로 가우시안을 재구성함. 깊이 재초기화는 매 5,000 반복마다 실행됨.
• 기본 3DGS 래스터라이제이션 파이프라인에 원활하게 통합되어, 존재하는 모델에 즉각적으로 통합 가능함.

실험 결과

연구 질문

• RQ1 가우시안 수를 늘리지 않고도 가우시안의 공간 분포를 재구조화함으로써 3D 가우시안 스플래터링에서 렌더링 품질과 효율성을 향상시킬 수 있는가?
• RQ2 조밀화와 단순화 기법을 함께 설계함으로써 기하학적 정밀도를 유지하면서도 가우시안 수를 최소화할 수 있는가?
• RQ3 깊이 기반 재초기화와 블러 인식 분할이 3DGS에서 분포 균일성 향상에 어느 정도 기여하는가?
• RQ4 직접 제거 기반 접근 방식에 비해, 제거를 하지 않는 재구조화 기반 접근 방식이 렌더링 품질과 압축 효율성 측면에서 뛰어나게 되는가?
• RQ5 제한된 가우시안 표현이 전체 3DGS 수준의 성능을 달성하면서도 저장 및 계산 비용을 크게 절감할 수 있는가?

주요 결과

• Mini-Splatting는 'bicycle' 스캔에서 LPIPS 점수 0.159를 기록하여 3DGS(0.205) 및 3DGS*(0.210)를 능가함으로써, 더 뛰어난 정서적 품질을 입증함.
• 'train' 스캔에서 Mini-Splatting-D는 PSNR 21.20을 기록하여 3DGS*(21.90)에 비해 略적으로 높으며, 더 적은 가우시안 수를 사용하고 압축도 가능함.
• SSIM 측정에서 Mini-Splatting-D는 'train'에서 0.819를 기록하여 3DGS*(0.814) 및 3DGS(0.802)를 초월함으로써 기하학적 정밀도 향상을 입증함.
• 일부 스캔에서 LPIPS를 최대 25%까지 감소시킴(예: 'bicycle'에서 0.159 vs. 0.205), 이는 정서적 품질 향상을 의미함.
• Mini-Splatting-C는 영역 적응형 양자화와 zip 압축을 통해 SH 계수의 95%를 압축했으며, 품질 손실는 최소한으로 유지함.
• 시각화된 Fig. 1에 따르면 가우시안 클러스터링이 감소하여 더 균일한 공간 분포와 함께 렌더링 속도 향상이 이루어짐.