[논문 리뷰] UrbanGS: A Scalable and Efficient Architecture for Geometrically Accurate Large-Scene Reconstruction

Changbai Li, Haodong Zhu외 7명|arXiv (Cornell University)|2026. 02. 02.

Advanced Vision and Imaging인용 수 0

한 줄 요약

도시 규모의 3D 가우시안 스플래팅 재구성을 고충실도 및 메모리 효율로 달성하기 위해 깊이-일관성 D-Normal 정규화, 깊이 정보를 활용한 적응형 감독, 그리고 공간적으로 적응하는 가우시안 프루닝을 도입한 UrbanGS.

ABSTRACT

While 3D Gaussian Splatting (3DGS) enables high-quality, real-time rendering for bounded scenes, its extension to large-scale urban environments gives rise to critical challenges in terms of geometric consistency, memory efficiency, and computational scalability. To address these issues, we present UrbanGS, a scalable reconstruction framework that effectively tackles these challenges for city-scale applications. First, we propose a Depth-Consistent D-Normal Regularization module. Unlike existing approaches that rely solely on monocular normal estimators, which can effectively update rotation parameters yet struggle to update position parameters, our method integrates D-Normal constraints with external depth supervision. This allows for comprehensive updates of all geometric parameters. By further incorporating an adaptive confidence weighting mechanism based on gradient consistency and inverse depth deviation, our approach significantly enhances multi-view depth alignment and geometric coherence, which effectively resolves the issue of geometric accuracy in complex large-scale scenes. To improve scalability, we introduce a Spatially Adaptive Gaussian Pruning (SAGP) strategy, which dynamically adjusts Gaussian density based on local geometric complexity and visibility to reduce redundancy. Additionally, a unified partitioning and view assignment scheme is designed to eliminate boundary artifacts and optimize computational load. Extensive experiments on multiple urban datasets demonstrate that UrbanGS achieves superior performance in rendering quality, geometric accuracy, and memory efficiency, providing a systematic solution for high-fidelity large-scale scene reconstruction.

연구 동기 및 목표

• 도시 환경용 대규모 3D Gaussian Splatting (3DGS)의 기하학적 불일치 및 메모리 비효율성 문제를 해결한다.
• 깊이 및 법선 신호를 이용해 모든 가우시안 매개변수(위치와 회전)를 업데이트하는 깊이-일관성 D-Normal 정규화 프레임워크를 개발한다.
• 로컬 기하학 및 가시성에 기반한 중복성을 줄이는 공간적으로 적응적인 가우시안 프루닝(SAGP) 전략을 도입한다.
• 경계 인공물 문제를 방지하고 확장 가능한 다중 GPU 재구성을 가능하게 하는 분할 및 뷰 배정 방식을 설계한다.
• 도시 규모 데이터셋에서 최첨단 렌더링 품질, 기하학적 정확도 및 학습 효율성을 입증한다.

제안 방법

• 깊이 맵 기울기로부터 D-Normal를 도출하고 재현된 법선을 의사-노멀 프라이어로 감독하는 깊이-일관성 D-Normal 정규화.
• 단안 깊이 앵커를 희소 SfM 포인트와 맞추기 위한 역 깊이 손실 및 기하학적 신뢰 가중치를 사용하는 깊이 일관성 정규화.
• RGB 재구성 손실, n-정규화, dn-정규화, 그리고 깊이 손실 w_d 가중치를 가진 총 손실 L_total를 구성하는 통합 손실.
• 로컬 기하학, 가시성 및 시점 빈도수를 기반으로 각 보셀의 중요도를 계산하여 불필요한 가우시안을 제거하는 공간적으로 적응하는 가우시안 프루닝(SAGP).
• 병렬 대규모 재구성을 가능하게 하고 경계 인공물을 줄이기 위한 보셀 기반 분할 및 경계 보존 뷰 배정.
• 확장 가능한 도시 규모 재구성을 위해 SAGP 프루닝을 활용한 블록 단위 학습에 앞서 분할 전략을 적용한다.

Figure 2: UrbanGS training pipeline and core components. (a) Training Pipeline: Starting from coarse global Gaussians, we apply spatially adaptive Gaussian pruning to obtain compact priors, contract and partition the scene into blocks, assign camera views using geometric and SSIM-based criteria, and

실험 결과

연구 질문

• RQ1 깊이 및 법선 신호를 어떻게 함께 활용하여 대규모 현장에서 3D Gaussian 매개변수를 총체적으로 최적화할 수 있는가?
• RQ2 깊이 인식 감독 및 적응 가중치가 도시 규모 재구성에서 다중 뷰 깊이 정합성과 기하학적 일관성을 향상시킬 수 있는가?
• RQ3 도시 환경에서 메모리 효율성과 렌더링 및 기하학적 충실도 사이의 균형을 맞추기 위해 Gaussian 원시를 효과적으로 프루닝하는 방법은 무엇인가?
• RQ4 경계 없는 확장 가능 재구성을 위해 멀티-GPU 설정에서 어떤 분할 및 뷰 배정 전략이 가장 효과적인가?
• RQ5 UrbanGS가 렌더링 품질, 기하학적 정확도 및 학습 효율성 측면에서 기존의 대규모 3DGS 방법을 능가하는가?

주요 결과

• UrbanGS는 여러 도시 데이터셋에서 최첨단 렌더링 및 기하학적 품질을 달성하며, 다수의 대규모 기준선보다 우수한 성능을 보인다.
• 깊이-일관성 D-Normal 정규화는 가우시안의 위치와 회전의 전체적인 최적화를 가능하게 하여 표면 충실도를 향상시킨다.
• 역 깊이 앵커와 기하학적으로 인식된 신뢰 항을 통한 깊이 일관성은 뷰 간 깊이 정합을 향상시킨다.
• 공간적으로 적응하는 가우시안 프루닝(SAGP)은 전경 및 원거리 영역의 미세한 디테일을 보존하면서도 메모리 사용량과 학습 시간을 줄인다.
• 분할 및 경계 보존 뷰 배정은 도시 규모의 현장을 위한 효율적인 병렬 학습을 가능하게 한다.
• 적용 연구에서 D-Normal 정규화 및 깊이 일관성 구성요소와 SAGP 및 분할의 효과를 확인하는 제거 실험에서 PSNR/SSIM 향상 및 메모리 감소와 같은 큰 이득이 나타났다.

Figure 3: Qualitative results of ours and other methods in image rendering on Mill-19 (Yu et al., 2022 ) and Urbanscene3D (Lin et al., 2022 ) .