[논문 리뷰] CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

Yang Liu, Chuanchen Luo외 3명|arXiv (Cornell University)|2024. 11. 01.

3D Surveying and Cultural HeritageEarth and Planetary Sciences인용 수 3

한 줄 요약

CityGaussianV2는 2D 가우시안 스플래터링을 활용하고 분해된 기울기 기반 조밀화(DGD) 및 깊이 회귀를 통해 수렴 속도를 가속화하고 뿌연 현상을 줄여 대규모 시나리오에 대해 효율적이고 기하학적으로 정확한 3D 재구성 방법을 제안한다. 동시에 병렬 학습 중 가우시안 수의 폭발을 방지하기 위해 연장 필터를 도입하여 10배 압축, 25% 빠른 학습, 50% 메모리 감소를 달성하면서도 고도의 기하학적 정확성과 렲링 품질을 유지한다. 대규모 벤치마크에서 검증된 바 있다.

ABSTRACT

Recently, 3D Gaussian Splatting (3DGS) has revolutionized radiance field reconstruction, manifesting efficient and high-fidelity novel view synthesis. However, accurately representing surfaces, especially in large and complex scenarios, remains a significant challenge due to the unstructured nature of 3DGS. In this paper, we present CityGaussianV2, a novel approach for large-scale scene reconstruction that addresses critical challenges related to geometric accuracy and efficiency. Building on the favorable generalization capabilities of 2D Gaussian Splatting (2DGS), we address its convergence and scalability issues. Specifically, we implement a decomposed-gradient-based densification and depth regression technique to eliminate blurry artifacts and accelerate convergence. To scale up, we introduce an elongation filter that mitigates Gaussian count explosion caused by 2DGS degeneration. Furthermore, we optimize the CityGaussian pipeline for parallel training, achieving up to 10$ imes$ compression, at least 25% savings in training time, and a 50% decrease in memory usage. We also established standard geometry benchmarks under large-scale scenes. Experimental results demonstrate that our method strikes a promising balance between visual quality, geometric accuracy, as well as storage and training costs. The project page is available at https://dekuliutesla.github.io/CityGaussianV2/.

연구 동기 및 목표

• 대규모이고 복잡한 시나리오에서 3D 가우시안 스플래터링의 기하학적 부정확성과 느린 수렴 문제를 해결하기 위해.
• 특히 병렬 학습 중 가우시안 수의 폭발 문제를 해결하기 위해 2D 가우시안 스플래터링의 확장성 문제를 해결하기 위해.
• 기하학적 품질이나 렌더링 품질을 손상시키지 않으면서도 저사양 장치에 실시간 배포를 위한 학습 및 메모리 비용을 감소시키기 위해.
• 대규모 시나리오 재구성에서 기하학적 정확성 평가를 위한 표준화된 벤치마크를 수립하기 위해.
• 복잡한 도시 및 자연 시나리오에서 고정밀도를 유지하면서도 효율적이고 병렬적이며 압축 가능한 학습 파이프라인을 제공하기 위해.

제안 방법

• 우수한 일반화 능력을 보이기 때문에 기반 원자로 2D 가우시안 스플래터링을 사용한다.
• 수렴 속도를 가속화하고 뿌연 서페이스를 제거하기 위해 분해된 기울기 기반 조밀화(DGD)를 도입한다.
• 깊이 회귀를 통해 Depth-Anything V2에 의해 유도되어 학습 중 기하학적 정확성을 향상시킨다.
• 매우 길어진 가우시안의 증가를 억제하기 위해 연장 필터를 적용하여 병렬 학습 중 가우시안 수의 폭발을 완화한다.
• 기여도 기반 프루닝과 2차 수준의 구면 조화 함수를 활용한 블록 기반 병렬 튜닝을 구현하여 메모리 및 저장 용량을 줄인다.
• 기여도 기반 벡터리 퀀타이제이션과 최적화된 후처리를 통합하여 최대 10배의 압축과 75%의 저장 용량 감소를 달성한다.

실험 결과

연구 질문

• RQ1 2D 가우시안 스플래터링은 어떻게 최적화되어 대규모 시나리오 재구성에서 더 빠른 수렴과 더 높은 기하학적 정확성을 달성할 수 있는가?
• RQ2 복잡한 시나리오에서 2DGS의 병렬 학습 중 가우시안 수의 폭발을 방지할 수 있는 메커니즘은 무엇인가?
• RQ3 병렬 학습과 압축을 통해 얼마나 많은 메모리 및 저장 비용을 절감할 수 있으며, 이로 인해 렌더링 및 기하학적 품질을 유지할 수 있는가?
• RQ4 Depth-Anything V2와 같은 사전 학습된 모델의 깊이 감독은 2DGS 기반 재구성에서 기하학적 정확성에 어떤 영향을 미치는가?
• RQ5 후처리 프루닝이나 디스틸레이션 없이도 기존 방법과 비교해 유사하거나 더 높은 성능을 달성할 수 있는가?

주요 결과

• CityGaussianV2는 CityGaussian 대비 50% 메모리 사용 감소(14.2 GB 대 31.5 GB)와 25% 빠른 학습(176분 대 254분)을 달성했으며, F1 스코어는 0.474에서 0.450으로 향상되었다.
• 기여도 기반 벡터리 퀀타이제이션을 통해 저장 비용을 75% 감소시켜 최종 모델 크기를 0.44 GB로 압축했다.
• 2차 수준의 구면 조화 함수를 처음부터 적용함으로써 메모리 사용량을 25% 이상 감소시켰다(14.2 GB 대 31.5 GB)하고, 추론 속도를 4.2 FPS 향상시켰다.
• 깊이 회귀와 DGD를 추가함으로써 PSNR는 2.38 dB 향상되고 F1 스코어는 0.064 향상되어 렌더링 품질과 기하학적 정확성 양면에서 뚜렷한 향상을 보였다.
• 7,000 반복 후 사전 학습을 통해 총 학습 시간을 3시간에서 2시간으로 단축하고 모델 크기를 300MB 이하로 축소하여 저사양 장치에 배포 가능하게 했다.
• GauU-Scene 벤치마크에서 PSNR 23.49, F1 스코어 0.474를 기록하여 기준 2DGS 및 CityGaussian보다 품질과 효율성 양면에서 뛰어난 성능을 보였다.