[論文レビュー] GauU-Scene: A Scene Reconstruction Benchmark on Large Scale 3D Reconstruction Dataset Using Gaussian Splatting

Butian Xiong, Zhuo Li+1 more|arXiv (Cornell University)|Jan 25, 2024

Remote Sensing and LiDAR Applications被引用数 5

ひとこと要約

本論文は GauU-Scene という大規模なドローン-LiDAR データセット (>1.5 km^2) と Gaussian Splatting のベースラインを導入し、3D シーン再構成を改善する LiDAR-Image 融合手法を提案する。

ABSTRACT

We introduce a novel large-scale scene reconstruction benchmark using the newly developed 3D representation approach, Gaussian Splatting, on our expansive U-Scene dataset. U-Scene encompasses over one and a half square kilometres, featuring a comprehensive RGB dataset coupled with LiDAR ground truth. For data acquisition, we employed the Matrix 300 drone equipped with the high-accuracy Zenmuse L1 LiDAR, enabling precise rooftop data collection. This dataset, offers a unique blend of urban and academic environments for advanced spatial analysis convers more than 1.5 km$^2$. Our evaluation of U-Scene with Gaussian Splatting includes a detailed analysis across various novel viewpoints. We also juxtapose these results with those derived from our accurate point cloud dataset, highlighting significant differences that underscore the importance of combine multi-modal information

研究の動機と目的

• 高精度の LiDAR 底層地物を持つ rooftop を含む大規模な 3D 再構成データセット (>1.5 km^2) を提供する。
• ドローンで収集したデータに対して Gaussian Splatting を都市スケールのシーンでベンチマークする。
• Gaussian Splatting の priors と再構成精度を向上させる LiDAR-Image 融合アプローチを提案する。
• ドローンベースの大規模再構成と地上 truth ポイントクラウドとのギャップを強調し、今後の課題を導く。

提案手法

• DJI Matrix 300 と Zenmuse L1 LiDAR を用意した rooftop および 都市ビューに対応するデータセット GauU-Scene を 1.5 km^2 超で構築する。
• COLMAP による疎 SfM 点群を構築して座標を揃え、グローバルマッチングと ICP を通じて raw LiDAR ポイントを登録・変換する。
• 3D シーンを <m, σ, α, h> 属性を持つ Gaussian splats として表現し、レンダリングやビュー合成を可能にする。
• LiDAR priors を Gaussian Splatting と融合させ、LiDAR データをサブサンプリングして画像ベースの priors と併用する。
• Vanilla Gaussian Splatting と LiDAR-Fused Gaussian Splatting を、画像と点群の ground truth の両方で L1 および PSNR 指標を用いて評価する。
• ドローンで収集したデータを Gaussian Splatting 表現へ変換するシンプルなパイプラインを提供する。

Figure 1 : Our dataset is divided into three main parts. The first part is the top part of this graph. We call it CUHKSZ(The Chinese University of Hong Kong, Shenzhen) lower campus, and the bottom left corner shows the upper campus of CUHKSZ, and the bottom right corner shows the SMBU(Shenzhen MSU-B

実験結果

リサーチクエスチョン

• RQ1 Gaussian Splatting は rooftop および urban データを含む大規模なドローン収集シーンでどの程度機能するか？
• RQ2 LiDAR priors を組み込むことが Gaussian Splatting の再構成品質に画像のみの priors と比較してどのような影響を与えるか？
• RQ3 地上 truth LiDAR 点群と画像 ground-truth 表現が 3D 再構成の評価にどのように影響するか？
• RQ4 大規模シーンでの drone ベース RGB データと LiDAR スキャンを整合させる際の実務的課題は何か？

主な発見

データセット名	手法	L1 損失	PSNR
CUHK LOWER	Lidar-Fused	0.0246	28.742
CUHK LOWER	Vanilla	0.0250	28.660
CUHK UPPER	Lidar-Fused	0.0321	26.949
CUHK UPPER	Vanilla	0.0327	26.911
SMBU	Lidar-Fused	0.0318	27.333
SMBU	Vanilla	0.0321	27.010
CUHK LOWER	Lidar-Fused (ground-truth 3D)	23.65
CUHK LOWER	Vanilla (image-ground-truth)	27.40
CUHK UPPER	Lidar-Fused (ground-truth 3D)	23.43
CUHK UPPER	Vanilla (image-ground-truth)	27.69
SMBU	Lidar-Fused (ground-truth 3D)	22.22
SMBU	Vanilla (image-ground-truth)	25.33

• UAV-LiDAR GauU-Scene データセットは 1.5 km^2 以上をカバーし、評価用の高精度地上 truth を含む。
• Lidar-Fused Gaussian Splatting は点群ベースの 3D 表現において一般に Vanilla Gaussian Splatting より高い精度を示すが、画像ベースの指標では利得は控えめ。
• LiDAR priors を用いた 3D 再構成では、特定の構成で L1 損失が低下するなど、地上 truth に対する定量的な改善が示される。
• 地上 truth ポイントクラウドは、画像 ground truth のみよりも信頼性の高い 3D 構造を提供し、多模態データ融合の価値を強調する。
• 大規模 Gaussian Splatting 再構成ではエッジアーティファクトとスケール整合性が依然課題であり、今後の改良の対象となる。

Figure 2 : The current point cloud registration method usually cannot handle different scales, so we first scale the raw point cloud to the same size as the SfM sparse point cloud. To do this, we find the maximum distance or variance in the SfM, as there are always some points far from the center in