[論文レビュー] GauU-Scene V2: Assessing the Reliability of Image-Based Metrics with Expansive Lidar Image Dataset Using 3DGS and NeRF

Butian Xiong, Nanjun Zheng+2 more|arXiv (Cornell University)|Apr 7, 2024

Advanced Optical Sensing Technologies被引用数 4

ひとこと要約

本稿では、6.67 km² の無人航空機（UAV）によるRGB画像と62750万点のLiDAR点群を統合した大規模なマルチモーダルデータセット、GauU-Scene V2を紹介する。このデータセットを用いて3Dシーン再構築の厳密な評価が可能となり、3Dガウススプラッティング（3DGS）とNeRFを用いた分析から、画像ベースの指標（SSIM、LPIPS、PSNR）が幾何的評価において信頼できないことが判明。これは、チャームファーディスタンスなどの幾何的指標と矛盾しており、3DGSに基づく幾何再構築における深刻な欠陥を暴露する。

ABSTRACT

We introduce a novel, multimodal large-scale scene reconstruction benchmark that utilizes newly developed 3D representation approaches: Gaussian Splatting and Neural Radiance Fields (NeRF). Our expansive U-Scene dataset surpasses any previously existing real large-scale outdoor LiDAR and image dataset in both area and point count. GauU-Scene encompasses over 6.5 square kilometers and features a comprehensive RGB dataset coupled with LiDAR ground truth. Additionally, we are the first to propose a LiDAR and image alignment method for a drone-based dataset. Our assessment of GauU-Scene includes a detailed analysis across various novel viewpoints, employing image-based metrics such as SSIM, LPIPS, and PSNR on NeRF and Gaussian Splatting based methods. This analysis reveals contradictory results when applying geometric-based metrics like Chamfer distance. The experimental results on our multimodal dataset highlight the unreliability of current image-based metrics and reveal significant drawbacks in geometric reconstruction using the current Gaussian Splatting-based method, further illustrating the necessity of our dataset for assessing geometry reconstruction tasks. We also provide detailed supplementary information on data collection protocols and make the dataset available on the following anonymous project page

研究の動機と目的

• 3Dシーン再構築の評価に適した、LiDARと画像データが正確にアライメントされた大規模かつマルチモーダルなデータセットの不足を是正すること。
• 画像ベース指標（SSIM、LPIPS、PSNR）が、チャームファーディスタンスなどの幾何的指標と比較して、3D再構築品質を評価する際にどれほど信頼できるかを調査すること。
• 高精細で大規模なベンチマークを用いて、現在の3Dガウススプラッティング（3DGS）手法における幾何再構築の欠陥を特定・分析すること。
• ドローンベースのLiDAR点群をSfMカメラ位置にWGS 84座標系でアライメントするための新規統計的スケールマッチング手法の開発と検証すること。
• 今後の幾何再構築およびマルチモーダル統合分野の研究を支援するため、公開可能な大規模ベンチマークデータセットの提供を目的とする。

提案手法

• 著者らは、高解像度RGBカメラと高精度LiDARを搭載したUAVを用いて収集した、6.67 km² の屋外データセットGauU-Scene V2を構築。4,600枚を超えるアライメント済み画像と62750万点のLiDAR点群を含む。
• COLMAPフォーマットのSfMカメラ位置とLiDAR点群を一致させるための統計的スケールマッチング手法を開発。これにより、複数モodal間で一貫した座標系が確保される。
• 本データセットは、NeRFおよび3Dガウススプラッティング（3DGS）モデルの学習・評価を、画像ベース指標と幾何的指標の両方で可能にする。
• 画像ベース指標（SSIM、LPIPS、PSNR）は、新規視点での評価が行われた。一方、幾何的再構築は、予測点群と真値点群の間のチャームファーディスタンスによって評価された。
• 3DGSの定性的および定量的分析を実施。その結果、非常に低いアルファ値を有するほぼ透明なガウススプラットが、幾何的再構築性能を著しく低下させることを同定。
• SuGaRのメッシュ出力についても分析し、幾何的再構築性能が著しく低いにもかかわらず視覚的に妥当な再構築を実現している理由を、多数の外れ値が存在するためと特定。

Figure 1. The dataset prepared for input into the neural field and Gaussian Splatting typically consists of camera positions and images in COLMAP format. The Structure from Motion (SfM) algorithm implemented in COLMAP initializes camera positions randomly, which may not align with LiDAR data in WGS

実験結果

リサーチクエスチョン

• RQ1 3D点群としての真値が利用可能な状況下で、標準的な画像ベース指標（SSIM、LPIPS、PSNR）が3Dシーン再構築の品質を評価する際にどれほど信頼できるか。
• RQ2 高画質な画像を再現しているにもかかわらず、3Dガウススプラッティング（3DGS）手法がなぜ正確な幾何形状を再構築できないのか。
• RQ3 幾何的再構築指標（例：チャームファーディスタンス）が、画像ベース指標とどれほど矛盾するのか。3D再構築品質の評価において、その影響はどの程度か。
• RQ4 幾何的アライメント手法（例：SuGaR）のメッシュ出力に多数の外れ値が生じる原因は何か。また、それらは指標評価にどのように影響を与えるか。
• RQ5 画像撮影時の照明や天候の変化が、3DGSにおけるガウススプラットの配置や透明度にどのように影響を与えるか。

主な発見

• 画像ベース指標（SSIM、LPIPS、PSNR）は、チャームファーディスタンスなどの幾何的指標と比較して、矛盾した結果を示す。これは、画像の忠実度が幾何的正確性を信頼できる指標として必ずしも反映しないことを示唆する。
• 3Dガウススプラッティング（3DGS）手法は、非常に低いアルファ値を持つほぼ透明なガウススプラットを生成し、3次元空間を浮遊させるが、これにより幾何的再構築指標が著しく劣化する。一方で、視覚的レンダリングにはほとんど寄与しない。
• ほぼ透明なスプラットを除去しても、画像品質はほとんど変化しない。これは、これらのスプラットが視覚的出力の向上に寄与せず、幾何的評価を損なうアーチファクトであることを示唆する。
• 幾何的アライメントを目的としたSuGaRは、視覚的に妥当な再構築を実現しているにもかかわらず、外れ値の多さのためチャームファーディスタンスで最下位にランク付けされる。
• 本研究では、単純な点対応（例：3DGSの平均）を用いた場合でも、現在の幾何的指標が信頼できないことが判明。これにより、より強固な幾何的評価フレームワークの構築が急務であることが示された。
• 6.67 km² および62750万点のLiDAR点群を有するデータセットGauU-Scene V2は、大規模3Dシーン再構築評価のための公開済みで最大規模のマルチモーダルデータセットである。

Figure 2. Our dataset is organized into six primary sections. The first and second scenes, located in the top row of the graph, feature the Modern Building and the Russian Building, respectively. The third and fourth scenes, depicted on the second line of the graph, represent a campus and a college.