[논문 리뷰] CityGaussian: Real-time High-quality Large-Scale Scene Rendering with Gaussians

Yang Liu, He Guan외 5명|arXiv (Cornell University)|2024. 04. 01.

Computer Graphics and Visualization Techniques인용 수 8

한 줄 요약

CityGaussian (CityGS)는 대규모 3D Gaussian Splatting 장면의 실시간 고충실도 렌더링을 가능하게 하는 분할-정복 학습 방식과 블록 단위 Level-of-Detail 전략을 도입한다. 이는 대규모 데이터 세트에서 최첨단 품질을 달성하면서도 스케일에 걸쳐 실시간 성능을 유지한다.

ABSTRACT

The advancement of real-time 3D scene reconstruction and novel view synthesis has been significantly propelled by 3D Gaussian Splatting (3DGS). However, effectively training large-scale 3DGS and rendering it in real-time across various scales remains challenging. This paper introduces CityGaussian (CityGS), which employs a novel divide-and-conquer training approach and Level-of-Detail (LoD) strategy for efficient large-scale 3DGS training and rendering. Specifically, the global scene prior and adaptive training data selection enables efficient training and seamless fusion. Based on fused Gaussian primitives, we generate different detail levels through compression, and realize fast rendering across various scales through the proposed block-wise detail levels selection and aggregation strategy. Extensive experimental results on large-scale scenes demonstrate that our approach attains state-of-theart rendering quality, enabling consistent real-time rendering of largescale scenes across vastly different scales. Our project page is available at https://dekuliutesla.github.io/citygs/.

연구 동기 및 목표

• 소형 물체나 데이터 세트를 넘어서는 대규모 도시 장면의 실시간 고충실도 재구성 및 렌더링을 목표로 한다.
• 수천만 개의 가우시안을 학습하고 렌더링할 때의 메모리 및 계산 병목을 해결한다.
• 전역 가우시안 사전 지식을 포함한 분할-정복 학습 파이프라인을 제안하여 병렬 블록-단위 정제를 가능하게 한다.
• 다양한 카메라 스케일에 걸쳐 대규모 장면을 효율적으로 렌더링하기 위한 블록-단위 Level-of-Detail 전략을 도입한다.]
• method:[
• Use a global 3D Gaussian prior to initialize block-wise finetuning.
• Contract-space Gaussian partitioning to achieve uniform data distribution across blocks.
• Adaptive data assignment per block guided by SSIM loss to ensure block relevance.
• Block-wise parallel training of Gaussians with fusion into a global scene.
• Compress Gaussians to create multi-detail levels and apply a block-wise LoD during rendering.
• Frustum-aware, block-level Gaussians selection for real-time rasterization.

제안 방법

• 전역 3D 가우시안 사전 지식을 사용하여 블록-단위 미세조정을 초기화한다.
• 블록 간 균일한 데이터 분포를 달성하기 위해 수축 공간 가우시안 분할을 수행한다.
• block별 SSIM 손실에 의해 가이드되는 Adaptive data assignment로 블록의 관련성을 보장한다.
• 블록 단위 병렬 학습으로 가우시안을 훈련시키고 이를 전역 장면으로 융합한다.
• 가우시안을 압축하여 다중 상세 수준을 만들고 렌더링 중 블록-단위 LoD를 적용한다.
• 실시간 래스터화를 위한 프러스텀 인식적 블록 레벨 가우시안 선택으로 구현한다.

실험 결과

연구 질문

• RQ1 메모리 폭발 없이 대규모 3D Gaussian Splatting을 어떻게 효율적으로 학습하고 렌더링할 수 있는가?
• RQ2 글로벌 프라이어와 수축 공간 분할이 블록 융합 및 재구성 품질을 향상시킬 수 있는가?
• RQ3 블록 단위 LoD가 현저히 다른 스케일에서도 충실도를 유지하며 실시간 렌더링을 가능하게 하는가?
• RQ4 데이터 할당 전략과 LoD 설계 선택이 렌더링 속도와 품질에 미치는 영향은 무엇인가?]
• RQ5 key_findings:[

주요 결과

Dataset	SSIM ⬆	PSNR ⬆	LPIPS ⬇
MatrixCity (Ours)	0.865	27.46	0.204
MatrixCity (3DGS †)	0.735	23.67	0.384
Residence (Ours)	0.813	22.00	0.211
Residence (3DGS †)	0.791	21.44	0.2774
Rubble (Ours)	0.813	25.77	0.228
Rubble (3DGS †)	0.720	20.46	0.305
Building (Ours)	0.778	21.55	0.246
Building (3DGS †)	0.504	20.93	0.504

• CityGS는 MatrixCity 소도시 장면에서 LoD 없이 SSIM 0.865, PSNR 27.46, LPIPS 0.204로 최첨단 렌더링 충실도를 달성한다.
• CityGS는 대규모 데이터 세트에서 NeRF 기반 기준선을 능가하고 실제 세계의 여러 장면(예: Residence, Rubble, Building)에서 고품질 결과를 제공한다.
• LoD는 스케일 변화에 걸친 실시간 렌더링을 가능하게 한다; 세 가지 상세 수준의 LoD가 단일 상세 설정보다 충실도가 높으면서도 높은 FPS를 유지한다(예: LoD는 53.7 FPS, LoD 없이 21.6 FPS).
• 블록 단위 데이터 분할과 글로벌 프라이어는 대략적인 글로벌 프라이어만 사용하는 경우에 비해 SSIM/LPIPS/PSNR을 크게 향상시킨다.
• 아블레이션 연구는 블록 수와 SSIM 임계값 ε가 품질과 데이터 효율성에 영향을 미치며, 균형 잡힌 블록 구성이 최상의 결과를 낳는다.
• CityGS는 명시적 가우시안 기반 표현으로 인해 장면 조작을 지원하며 편집 및 객체 교체를 가능하게 한다.