[논문 리뷰] GauU-Scene: A Scene Reconstruction Benchmark on Large Scale 3D Reconstruction Dataset Using Gaussian Splatting

Butian Xiong, Zhuo Li외 1명|arXiv (Cornell University)|2024. 01. 25.

Remote Sensing and LiDAR Applications인용 수 5

한 줄 요약

본 논문은 GauU-Scene을 소개합니다. 이는 대규모 드론-LiDAR 데이터셋(>1.5 km^2)과 Gaussian Splatting 베이스라인, 그리고 3D 장면 재구성을 개선하기 위한 LiDAR-이미지 융합 방법을 제공합니다.

ABSTRACT

We introduce a novel large-scale scene reconstruction benchmark using the newly developed 3D representation approach, Gaussian Splatting, on our expansive U-Scene dataset. U-Scene encompasses over one and a half square kilometres, featuring a comprehensive RGB dataset coupled with LiDAR ground truth. For data acquisition, we employed the Matrix 300 drone equipped with the high-accuracy Zenmuse L1 LiDAR, enabling precise rooftop data collection. This dataset, offers a unique blend of urban and academic environments for advanced spatial analysis convers more than 1.5 km$^2$. Our evaluation of U-Scene with Gaussian Splatting includes a detailed analysis across various novel viewpoints. We also juxtapose these results with those derived from our accurate point cloud dataset, highlighting significant differences that underscore the importance of combine multi-modal information

연구 동기 및 목표

• 지붕을 포함한 대규모 3D 재구성 데이터셋(>1.5 km^2)과 고정밀 LiDAR 지상 진실을 제공한다.
• 도시 규모의 장면에 대해 드론 수집 데이터에서 Gaussian Splatting을 벤치마킹한다.
• Gaussian Splatting 프라이어를 향상시키고 재구성 정확도를 높이기 위한 LiDAR-이미지 융합 접근법을 제안한다.
• 드론 기반 대규모 재구성과 지상 참조 포인트 클라우드 간의 차이를 강조하여 향후 연구를 안내한다.

제안 방법

• DJI Matrix 300과 Zenmuse L1 LiDAR로 구성된 1.5 km^2 이상 데이터셋 GauU-Scene을 도입하여 지붕 및 도시 풍경을 수집했다.
• COLMAP으로 Sparse SfM 포인트클라우드를 구축해 좌표를 정렬하고, 글로벌 매칭과 ICP를 통해 원시 LiDAR 포인트를 등록 및 변환한다.
• 3D 장면을 <m, σ, α, h> 속성을 가진 Gaussian splat으로 표현하여 렌더링 및 시점 합성을 가능하게 한다.
• LiDAR 사전 정보를 Gaussian Splatting과 융합하기 위해 LiDAR 데이터를 샘플링하고 이미지 기반 사전 정보와 함께 통합한다.
• 이미지 및 포인트 클라우드 지상 참값 모두에 대해 L1 및 PSNR 지표를 사용하여 Vanilla Gaussian Splatting과 LiDAR-Fused Gaussian Splatting을 평가한다.
• 드론 수집 데이터를 사용 가능한 Gaussian Splatting 표현으로 변환하는 간단한 파이프라인을 제공한다.

Figure 1 : Our dataset is divided into three main parts. The first part is the top part of this graph. We call it CUHKSZ(The Chinese University of Hong Kong, Shenzhen) lower campus, and the bottom left corner shows the upper campus of CUHKSZ, and the bottom right corner shows the SMBU(Shenzhen MSU-B

실험 결과

연구 질문

• RQ1 지붕 및 도시 데이터를 포함한 대규모 드론 수집 장면에서 Gaussian Splatting은 어떻게 성능을 보이는가?
• RQ2 이미지 전용 사전정보와 비교하여 LiDAR 사전정보를 포함하는 것이 Gaussian Splatting 재구성 품질에 미치는 영향은 무엇인가?
• RQ3 지상참 LiDAR 포인트클라우드와 이미지 지상참 표현은 3D 재구성 평가에 어떤 영향을 미치는가?
• RQ4 대규모 장면에서 드론 기반 RGB 데이터와 LiDAR 스캔을 정렬하는 데 있어 실용적 과제는 무엇인가?

주요 결과

데이터셋 이름	방법	L1 손실	PSNR
CUHK LOWER	Lidar-Fused	0.0246	28.742
CUHK LOWER	Vanilla	0.0250	28.660
CUHK UPPER	Lidar-Fused	0.0321	26.949
CUHK UPPER	Vanilla	0.0327	26.911
SMBU	Lidar-Fused	0.0318	27.333
SMBU	Vanilla	0.0321	27.010
CUHK LOWER	Lidar-Fused (ground-truth 3D)	23.65
CUHK LOWER	Vanilla (image-ground-truth)	27.40
CUHK UPPER	Lidar-Fused (ground-truth 3D)	23.43
CUHK UPPER	Vanilla (image-ground-truth)	27.69
SMBU	Lidar-Fused (ground-truth 3D)	22.22
SMBU	Vanilla (image-ground-truth)	25.33

• UAV-LiDAR GauU-Scene 데이터셋은 1.5 km^2 이상을 커버하며 평가를 위한 고정밀 지상참값을 포함한다.
• Lidar-Fused Gaussian Splatting은 포인트 클라우드 기반 3D 표현에서 일반적으로 Vanilla Gaussian Splatting보다 더 높은 정확도를 보이나 이미지 기반 지표는 보통 미미한 향상을 보인다.
• 일부 구성에서 LiDAR 사전을 사용한 3D 재구성은 지상참값 정렬의 향상을 보이며(일부 설정에서 더 낮은 L1 손실).
• 지상참 포인트클라우드는 이미지 지상참만으로 얻은 것보다 더 신뢰할 수 있는 3D 구조를 제공하며 다중 모달 데이터 융합의 가치를 강조한다.
• 대규모 Gaussian Splatting 재구성에서 에지 아티팩트와 스케일 정렬은 여전히 도전 과제로 남아 있으며 향후 개선이 필요하다.

Figure 2 : The current point cloud registration method usually cannot handle different scales, so we first scale the raw point cloud to the same size as the SfM sparse point cloud. To do this, we find the maximum distance or variance in the SfM, as there are always some points far from the center in