[논문 리뷰] GauU-Scene V2: Assessing the Reliability of Image-Based Metrics with Expansive Lidar Image Dataset Using 3DGS and NeRF

Butian Xiong, Nanjun Zheng외 2명|arXiv (Cornell University)|2024. 04. 07.

Advanced Optical Sensing Technologies인용 수 4

한 줄 요약

이 논문은 6.67 km²의 드론 촬영 RGB 이미지와 62750만 개의 LiDAR 포인트를 결합한 대규모 다중모달 데이터셋인 GauU-Scene V2를 소개한다. 이는 3D 시점 재구성의 엄격한 평가를 가능하게 하며, 3D 가우시안 스플래터링(3DGS)과 NeRF를 활용해 이미지 기반 평가 지표(SSIM, LPIPS, PSNR)가 기하학적 평가 지표인 카프너 거리와 모순되므로 기하학적 평가에 신뢰할 수 없다는 것을 드러낸다. 이는 3DGS 기반 기하학적 재구성에 심각한 결함이 있음을 노출시킨다.

ABSTRACT

We introduce a novel, multimodal large-scale scene reconstruction benchmark that utilizes newly developed 3D representation approaches: Gaussian Splatting and Neural Radiance Fields (NeRF). Our expansive U-Scene dataset surpasses any previously existing real large-scale outdoor LiDAR and image dataset in both area and point count. GauU-Scene encompasses over 6.5 square kilometers and features a comprehensive RGB dataset coupled with LiDAR ground truth. Additionally, we are the first to propose a LiDAR and image alignment method for a drone-based dataset. Our assessment of GauU-Scene includes a detailed analysis across various novel viewpoints, employing image-based metrics such as SSIM, LPIPS, and PSNR on NeRF and Gaussian Splatting based methods. This analysis reveals contradictory results when applying geometric-based metrics like Chamfer distance. The experimental results on our multimodal dataset highlight the unreliability of current image-based metrics and reveal significant drawbacks in geometric reconstruction using the current Gaussian Splatting-based method, further illustrating the necessity of our dataset for assessing geometry reconstruction tasks. We also provide detailed supplementary information on data collection protocols and make the dataset available on the following anonymous project page

연구 동기 및 목표

• 3D 시점 재구성 평가를 위한 대규모 다중모달 데이터셋이 LiDAR와 이미지 데이터가 정렬되어 있는 부족한 문제를 해결하기 위해.
• 기하학적 지표인 카프너 거리와 비교할 때 이미지 기반 지표(SSIM, LPIPS, PSNR)의 신뢰성 평가를 위해.
• 고정밀도, 대규모 벤치마크를 활용해 현재 3D 가우시안 스플래터링(3DGS) 방법의 기하학적 재구성 결함을 폭 드러내고 분석하기 위해.
• WGS 84 좌표계에서 드론 기반 LiDAR 포인트 클라우드를 SfM 카메라 위치와 정렬하기 위한 새로운 통계적 스케일 매칭 방법을 개발하고 검증하기 위해.
• 미래의 기하학적 재구성 및 다중모달 융합 연구를 지원하기 위해 공개 가능한 대규모 기준 데이터셋을 제공하기 위해.

제안 방법

• 저자들은 고해상도 RGB 카메라와 고정밀도 LiDAR를 사용해 UAV를 통해 촬영한 6.67 km²의 실외 데이터셋인 GauU-Scene V2를 구축하였다. 이 데이터셋에는 4600개 이상의 정렬된 이미지와 62750만 개의 LiDAR 포인트가 포함되어 있다.
• COLMAP 형식의 SfM 카메라 위치와 LiDAR 포인트 클라우드를 정렬하기 위해 통계적 스케일 매칭 방법을 개발하여, 다양한 모odal 간 일관된 좌표계를 확보하였다.
• 이 데이터셋은 3D 가우시안 스플래터링(3DGS) 및 NeRF 모델의 학습 및 평가에 이미지 기반 지표와 기하학적 지표를 모두 지원한다.
• 이미지 기반 지표(SSIM, LPIPS, PSNR)는 새로운 시점에서 평가되었으며, 기하학적 재구성은 예측된 포인트 클라우드와 진정된 포인트 클라우드 간의 카프너 거리로 평가되었다.
• 저자들은 3DGS의 정성적 및 정량적 분석을 수행하여, 거의 투명한 가우시안 스플래터링(낮은 알파 값)이 기하학적 열악함의 주요 원인임을 밝혀냈다.
• SuGaR의 메쉬 출력을 추가로 분석하여, 높은 수의 이상치가 존재함을 확인하였으며, 이는 시각적 품질은 양호하나 카프너 거리 평가에서는 열악한 성능을 유발함을 설명하였다.

Figure 1. The dataset prepared for input into the neural field and Gaussian Splatting typically consists of camera positions and images in COLMAP format. The Structure from Motion (SfM) algorithm implemented in COLMAP initializes camera positions randomly, which may not align with LiDAR data in WGS

실험 결과

연구 질문

• RQ1 3D 포인트 클라우드로 진정된 기하학적 지표가 존재할 때, 표준 이미지 기반 지표(SSIM, LPIPS, PSNR)가 3D 시점 재구성 평가에 얼마나 신뢰할 수 있는가?
• RQ2 높은 이미지 품질에도 불구하고 3D 가우시안 스플래터링(3DGS) 방법이 기하학적 구조를 정확히 재구성하지 못하는 이유는 무엇인가?
• RQ3 기하학적 재구성 지표인 카프너 거리가 이미지 기반 지표와 얼마나 모순되는가? 이는 3D 재구성 품질 평가에 어떤 영향을 미치는가?
• RQ4 기하학적 정렬 방법인 SuGaR의 메쉬 출력에서 높은 수의 이상치가 발생하는 원인는 무엇이며, 이는 지표 평가에 어떤 영향을 미치는가?
• RQ5 이미지 촬영 중 조명 및 날씨 변화가 3DGS에서 가우시안 스플래터링의 위치와 투명도에 어떤 영향을 미치는가?

주요 결과

• 이미지 기반 지표인 SSIM, LPIPS, PSNR는 기하학적 지표인 카프너 거리와 비교할 때 모순된 결과를 보이며, 이는 이미지 품질이 기하학적 정확도를 신뢰성 있게 반영하지 못함을 시사한다.
• 3D 가우시안 스플래터링(3DGS) 방법은 매우 낮은 알파 값을 가진 거의 투명한 가우시안 스플래터링을 생성하여 3D 공간에 떠도는 방식으로 기하학적 재구성 지표를 악화시키지만, 렌더링 시각화에는 거의 기여하지 않는다.
• 거의 투명한 스플래터링을 제거한 후에도 이미지 품질은 거의 변화하지 않으며, 이는 시각적 출력 향상 없이 기하학적 평가를 해치는 잡음 요소로 간주될 수 있음을 시사한다.
• 기하학적 정렬을 위한 방법으로 개발된 SuGaR는 높은 수의 메쉬 이상치로 인해 카프너 거리 평가에서 최하위 순위를 기록하지만, 시각적으로 타당한 재구성을 제공한다.
• 간단한 포인트 대응(예: 3DGS의 평균)을 사용할 경우 현재 기하학적 지표의 신뢰성도 떨어짐을 드러내어 더 견고한 기하학적 평가 프레임워크의 필요성을 시사한다.
• 6.67 km²와 62750만 개의 LiDAR 포인트를 포함한 데이터셋 GauU-Scene V2는 현재까지 공개된 바 있는 대규모 3D 시점 재구성 평가를 위한 가장 큰 다중모달 데이터셋이다.

Figure 2. Our dataset is organized into six primary sections. The first and second scenes, located in the top row of the graph, feature the Modern Building and the Russian Building, respectively. The third and fourth scenes, depicted on the second line of the graph, represent a campus and a college.