[논문 리뷰] UrbanScene3D: A Large Scale Urban Scene Dataset and Simulator.

Yilin Liu, Fuyou Xue외 1명|arXiv (Cornell University)|2021. 07. 09.

Robotics and Sensor-Based Localization참고 문헌 8인용 수 10

한 줄 요약

UrbanScene3D는 항공 영상에서 유도된 실사적이고 세밀한 3D 재구성과 인공 구조물 CAD 모델을 결합한 대규모 도시 환경 데이터셋 및 시뮬레이터를 소개한다. Unreal Engine 4와 AirSim 기반으로 구축되어 자율 에이전트의 고해상도 시뮬레이션을 가능하게 하며, 가시 영역과 가림 영역 모두에 걸쳐 인스턴스 세분화, 깊이 맵, 3D 포인트 클라우드 등의 풍부한 애너테이션을 제공한다.

ABSTRACT

The ability to perceive the environments in different ways is essential to robotic research. This involves the analysis of both 2D and 3D data sources. We present a large scale urban scene dataset associated with a handy simulator based on Unreal Engine 4 and AirSim, which consists of both man-made and real-world reconstruction scenes in different scales, referred to as UrbanScene3D. Unlike previous works that purely based on 2D information or man-made 3D CAD models, UrbanScene3D contains both compact man-made models and detailed real-world models reconstructed by aerial images. Each building has been manually extracted from the entire scene model and then has been assigned with a unique label, forming an instance segmentation map. The provided 3D ground-truth textured models with instance segmentation labels in UrbanScene3D allow users to obtain all kinds of data they would like to have: instance segmentation map, depth map in arbitrary resolution, 3D point cloud/mesh in both visible and invisible places, etc. In addition, with the help of AirSim, users can also simulate the robots (cars/drones)to test a variety of autonomous tasks in the proposed city environment. Please refer to our paper and website(https://vcc.tech/UrbanScene3D/) for further details and applications.

연구 동기 및 목표

• 로봇 인식 연구를 위한 합성 및 실제 세계의 3D 시나리오 데이터를 결합한 대규모이고 현실적인 도시 환경의 부족을 해결하기 위해.
• 2D 및 3D 데이터 소스를 통합하고 정확한 인스턴스 수준 애너테이션을 제공하여 인식 시스템의 훈련 및 평가를 위한 통합 플랫폼을 제공하기 위해.
• 정확한 센서 데이터 생성을 통해 다양한 도시 시나리오에서 자율 주행 차량과 드론의 시뮬레이션을 가능하게 하기 위해.
• 가시 영역과 가려진 영역 모두의 3D 시나리오 이해가 필요한 인식 알고리즘의 개발을 지원하기 위해.

제안 방법

• 데이터셋은 항공 영상에서 유도된 고해상도 실사적 재구성과 인공 구조물 3D 모델을 통합하여 다양한 도시 시나리오 컬렉션을 구성한다.
• 각 건물은 수작업으로 세분화되고 고유한 인스턴스 레이블이 할당되어 각 시나리오에 대한 정밀한 인스턴스 세분화 맵을 형성한다.
• 시뮬레이터는 Unreal Engine 4와 AirSim을 활용하여 동적 로봇(자동차/드론) 배치 및 센서 데이터 생성을 가능하게 한다.
• 사용자는 카메라에 보이지 않는 영역 포함하여 임의의 해상도로 3D 포인트 클라우드와 메시를 추출할 수 있어 종합적인 시나리오 분석을 지원한다.
• 시스템은 깊이 맵, 텍스처가 적용된 3D 모델, 실제 로봇 센서 측정 조건을 시뮬레이션하는 센서 데이터 스트림 생성을 지원한다.
• 사용자 정의 가능한 로봇 행동 및 센서 구성 기능을 통해 자율 주행 작업의 시뮬레이션을 지원한다.

실험 결과

연구 질문

• RQ1 합성 및 실제 세계의 3D 재구성을 통합하여 보다 높은 현실감을 구현한 대규모 도시 시나리오 데이터셋을 어떻게 구성할 수 있는가?
• RQ2 Unreal Engine 4와 AirSim 기반의 시뮬레이터가 복잡한 도시 환경에서 현실적인 로봇 인식 및 주행 작업을 얼마나 잘 지원할 수 있는가?
• RQ3 인스턴스 세분화 및 다중 모odal 센서 데이터(깊이, 포인트 클라우드)를 통합한 통합 데이터셋이 인식 모델의 훈련 및 평가를 얼마나 향상시킬 수 있는가?
• RQ4 이러한 데이터셋이 가시 영역과 가려진 영역 모두의 시나리오 영역에서 자율 에이전트의 시뮬레이션을 얼마나 효과적으로 지원할 수 있는가?

주요 결과

• UrbanScene3D는 항공 영상에서 유도된 압축된 CAD 모델과 세밀한 실제 세계 재구성을 모두 포함한 대규모 도시 데이터셋을 제공한다.
• 데이터셋 내 모든 건물가 수작업으로 레이블링되어 각 시나리오에 대해 정밀한 인스턴스 세분화 맵을 생성한다.
• 데이터셋은 가시 영역과 비가시 영역 모두에서 3D 포인트 클라우드와 메시 생성을 가능하게 하여 종합적인 시나리오 이해를 지원한다.
• AirSim과의 통합을 통해 다양한 도시 시나리오에서 자율 주행 차량과 드론의 현실적인 시뮬레이션을 가능하게 한다.
• 사용자는 임의의 해상도로 깊이 맵과 전체 인스턴스 수준 애너테이션을 적용한 텍스처가 적용된 3D 모델을 추출할 수 있다.
• 다양하고 고해상도의 센서 데이터 출력을 제공함으로써 다양한 인식 작업을 지원하는 플랫폼이다.