[论文解读] GauU-Scene: A Scene Reconstruction Benchmark on Large Scale 3D Reconstruction Dataset Using Gaussian Splatting

Butian Xiong, Zhuo Li+1 more|arXiv (Cornell University)|Jan 25, 2024

Remote Sensing and LiDAR Applications被引用 5

一句话总结

本文提出 GauU-Scene，一款规模大于 1.5 km^2 的无人机-LiDAR 数据集，以及一个高斯斑点基线，并提出一种 LiDAR-图像融合方法以提升三维场景重建。

ABSTRACT

We introduce a novel large-scale scene reconstruction benchmark using the newly developed 3D representation approach, Gaussian Splatting, on our expansive U-Scene dataset. U-Scene encompasses over one and a half square kilometres, featuring a comprehensive RGB dataset coupled with LiDAR ground truth. For data acquisition, we employed the Matrix 300 drone equipped with the high-accuracy Zenmuse L1 LiDAR, enabling precise rooftop data collection. This dataset, offers a unique blend of urban and academic environments for advanced spatial analysis convers more than 1.5 km$^2$. Our evaluation of U-Scene with Gaussian Splatting includes a detailed analysis across various novel viewpoints. We also juxtapose these results with those derived from our accurate point cloud dataset, highlighting significant differences that underscore the importance of combine multi-modal information

研究动机与目标

• 提供一个大尺度、屋顶纳入的三维重建数据集（>1.5 km^2），具高精度 LiDAR 地面真值。
• 对无人机采集数据在城市尺度场景上基准高斯斑点法。
• 提出一种 LiDAR-图像融合方法，以提升高斯斑点法的先验与重建精度。
• 指出基于无人机的大尺度重建与地面真值点云之间的差距，为未来工作指引方向。

提出的方法

• 介绍 GauU-Scene，是一个覆盖 1.5 km^2 的数据集，使用 DJI Matrix 300 和 Zenmuse L1 LiDAR，覆盖屋顶和城市视角。
• 通过 COLMAP 构建稀疏 SfM 点云以对齐坐标系，然后通过全局匹配和 ICP 注册并变换原始 LiDAR 点。
• 将三维场景用具有属性 <m, σ, α, h> 的高斯斑点表示，从而实现渲染与视图合成。
• 将 LiDAR 先验与高斯斑点法融合，通过对 LiDAR 数据进行子采样并与基于图像的先验并入。
• 使用图像和点云地面真值，对 Vanilla Gaussian Splatting 与 LiDAR-Fused Gaussian Splatting 在 L1 和 PSNR 指标上进行评估。
• 提供一个简单的管线，将无人机采集数据转换为可用的高斯斑点表示。

Figure 1 : Our dataset is divided into three main parts. The first part is the top part of this graph. We call it CUHKSZ(The Chinese University of Hong Kong, Shenzhen) lower campus, and the bottom left corner shows the upper campus of CUHKSZ, and the bottom right corner shows the SMBU(Shenzhen MSU-B

实验结果

研究问题

• RQ1 高斯斑点法在具有屋顶和城市数据的规模化无人机拍摄场景中的表现如何？
• RQ2 在引入 LiDAR 先验后，与仅使用图像的先验相比，重建质量有何影响？
• RQ3 地面真值 LiDAR 点云与图像地面真值表示在评估三维重建时的影响如何？
• RQ4 在将无人机基 RGB 数据与大尺度 LiDAR 扫描对齐时存在哪些实际挑战？

主要发现

数据集名称	方法	L1 损失	PSNR
CUHK LOWER	Lidar-Fused	0.0246	28.742
CUHK LOWER	Vanilla	0.0250	28.660
CUHK UPPER	Lidar-Fused	0.0321	26.949
CUHK UPPER	Vanilla	0.0327	26.911
SMBU	Lidar-Fused	0.0318	27.333
SMBU	Vanilla	0.0321	27.010
CUHK LOWER	Lidar-Fused (ground-truth 3D)	23.65
CUHK LOWER	Vanilla (image-ground-truth)	27.40
CUHK UPPER	Lidar-Fused (ground-truth 3D)	23.43
CUHK UPPER	Vanilla (image-ground-truth)	27.69
SMBU	Lidar-Fused (ground-truth 3D)	22.22
SMBU	Vanilla (image-ground-truth)	25.33

• UAV-LiDAR GauU-Scene 数据集覆盖超过 1.5 km^2，且包含高精度的评估地面真值。
• LiDAR-Fused 高斯斑点法在基于点云的三维表示中通常比 Vanilla 高斯斑点法具有更高的精度，尽管在图像为主的指标上仅有适度提升。
• 在使用 LiDAR 先验进行三维重建时，量化结果显示在某些配置下 L1 损失降低，提升了地面真值对齐效果。
• 地面真值点云提供比仅使用图像地面真值更可靠的三维结构，强调多模态数据融合的价值。
• 在大尺度高斯斑点重建中，边缘伪影和尺度对齐仍是挑战，指向未来改进的方向。

Figure 2 : The current point cloud registration method usually cannot handle different scales, so we first scale the raw point cloud to the same size as the SfM sparse point cloud. To do this, we find the maximum distance or variance in the SfM, as there are always some points far from the center in