[논문 리뷰] Capturing, Reconstructing, and Simulating: the UrbanScene3D Dataset

Liqiang Lin, Yilin Liu외 4명|arXiv (Cornell University)|2021. 07. 09.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

UrbanScene3D는 실세계 항공 촬영과 Unreal Engine에서의 합성 시뮬레이션을 결합한 대규모 다중 소스 도시 환경 데이터셋을 제공하여 고정밀 3D 재구성, 항공 경로 계획 평가 및 자율 에이전트 시뮬레이션을 가능하게 한다. 이 데이터셋은 128만+ 장의 고해상도 이미지, 라이다 스캔, 16개의 시나리오 총 136km²에 걸쳐 세분화된 인스턴스 수준의 주석을 포함하며, 지정된 정확도와 완전성 지표를 바탕으로 경로 계획 및 MVS 알고리즘의 평가를 지원한다.

ABSTRACT

We present UrbanScene3D, a large-scale data platform for research of urban scene perception and reconstruction. UrbanScene3D contains over 128k high-resolution images covering 16 scenes including large-scale real urban regions and synthetic cities with 136 km^2 area in total. The dataset also contains high-precision LiDAR scans and hundreds of image sets with different observation patterns, which provide a comprehensive benchmark to design and evaluate aerial path planning and 3D reconstruction algorithms. In addition, the dataset, which is built on Unreal Engine and Airsim simulator together with the manually annotated unique instance label for each building in the dataset, enables the generation of all kinds of data, e.g., 2D depth maps, 2D/3D bounding boxes, and 3D point cloud/mesh segmentations, etc. The simulator with physical engine and lighting system not only produce variety of data but also enable users to simulate cars or drones in the proposed urban environment for future research.

연구 동기 및 목표

• 3D 인식 및 재구성 연구를 위해 실세계와 합성 데이터를 통합한 종합적이고 대규모의 도시 환경 데이터셋이 부족한 문제를 해결하기 위해.
• 고정밀 라이다 스캔과 MVS 재구성 결과를 활용해 도시 환경에서의 항공 경로 계획 전략 평가를 위한 벤치마크를 제공하기 위해.
• 제어 가능한 조명, 기상 조건 및 물리적 동역학을 갖춘 다양한 도시 환경에서 드론과 자동차의 현실적인 시뮬레이션을 가능하게 하기 위해.
• 풍부한 주석과 다중 모odal 데이터를 통해 데이터 기반 3D 인스턴스 세분화, 깊이 추정, 새로운 시야 합성 연구를 지원하기 위해.
• 고정밀 실재 재구성과 물리적으로 정확한 시뮬레이션을 통합하여 합성 시뮬레이션과 실세계 도시 환경 간의 도메인 갭을 해소하기 위해.

제안 방법

• 드론이 촬영한 항공 이미지를 기반으로 다중 시점 스테레오(MVS) 기법을 사용하여 실제 도시 지역의 세밀하고 텍스처가 구현된 3D 메시를 생성한다.
• 재구성 정확도와 완전성 평가를 위한 기준으로 고정밀 라이다 스캔을 사용한다.
• Unreal Engine과 AirSim 기반의 맞춤형 시뮬레이션 플랫폼을 구축하여 물리 기반의 드론 및 자동차 시뮬레이션을 가능하게 하며, 현실적인 조명과 기상 조절이 가능하다.
• 각 건물에 고유한 인스턴스 ID를 수동으로 주석 처리하여 3D 인스턴스 세분화 및 다중 시점 데이터 생성을 가능하게 한다.
• 기울기 사진 촬영, Smith 등 [37], Zhou 등 [46], Zhang 등 [44] 등의 다양한 항공 경로 계획 알고리즘을 구현하고 평가하여 에너지 효율성과 재구성 품질을 비교한다.
• 시뮬레이터는 2D 깊이 맵, 2D/3D 경계 상자, 3D 포인트 클러스터/메시 세분화와 같은 다양한 데이터 유형을 생성하여 후속 작업에 활용한다.

실험 결과

연구 질문

• RQ1 다양한 항공 경로 계획 전략은 3D 도시 환경 재구성의 품질과 에너지 효율성에 어떤 영향을 미치는가?
• RQ2 UrbanScene3D의 합성 시뮬레이션은 실세계 3D 재구성 및 인식 작업으로 일반화될 수 있는가?
• RQ3 고정밀 라이다 기준으로 평가했을 때 MVS 파이프라인의 재구성 정확도와 완전성은 어느 정도인가?
• RQ4 UrbanScene3D 시뮬레이터는 자율 주행 및 3D 인식 작업을 위한 현실적이고 다양한 데이터 생성에 얼마나 효과적인가?
• RQ5 실세계와 합성 도시 환경을 모두 포함함으로써 3D 환경 이해에 있어 학습된 모델의 강건성과 일반화 능력은 향상되는가?

주요 결과

• Zhou 등 [46]가 제안한 경로 계획기법은 기울기 사진 촬영보다 더 높은 재구성 품질을 달성하면서도 더 적은 에너지를 소비한다.
• Zhang 등 [44]의 방법은 경로의 연속성 덕분에 배터리 소모를 줄였지만, Zhou 등 [46]에 비해 약간 높은 재구성 오차를 보였다.
• 기울기 사진 촬영은 에너지 효율성은 높지만, 건물 간의 가림현상과 제한된 시야 각도로 인해 가장 거친 재구성을 생성한다.
• 고정밀 라이다 스캔 통합으로 모든 경로 계획기의 재구성 정확도와 완전성에 대해 포인트 수준의 정확한 평가가 가능해졌다.
• 시뮬레이터에서는 물리 기반의 동역학, 조명, 기상 변화를 지원하여 드론과 자동차의 현실적인 시뮬레이션을 가능하게 하며, 다양한 데이터 생성을 통해 훈련 및 평가에 활용할 수 있다.
• 이 데이터셋은 128만+ 장의 고해상도 이미지, 총 136km²의 도시 지역, 세분화된 인스턴스 수준의 주석을 제공하여 3D 도시 인식 및 재구성에 대한 종합적인 벤치마크를 형성한다.