[논문 리뷰] SynthCity: A large scale synthetic point cloud

David Griffiths, J. Boehm|arXiv (Cornell University)|2019. 07. 10.

Remote Sensing and LiDAR Applications참고 문헌 14인용 수 48

한 줄 요약

SynthCity는 Blender를 통해 Blensor로 생성된 3D 의미 분할 모델의 사전 학습을 위한 367.9M 개의 라벨링된 포인트와 9개 클래스로 구성된 개방형 대규모 합성 MLS 포인트 클라우드를 소개합니다.

ABSTRACT

With deep learning becoming a more prominent approach for automatic classification of three-dimensional point cloud data, a key bottleneck is the amount of high quality training data, especially when compared to that available for two-dimensional images. One potential solution is the use of synthetic data for pre-training networks, however the ability for models to generalise from synthetic data to real world data has been poorly studied for point clouds. Despite this, a huge wealth of 3D virtual environments exist which, if proved effective can be exploited. We therefore argue that research in this domain would be of significant use. In this paper we present SynthCity an open dataset to help aid research. SynthCity is a 367.9M point synthetic full colour Mobile Laser Scanning point cloud. Every point is assigned a label from one of nine categories. We generate our point cloud in a typical Urban/Suburban environment using the Blensor plugin for Blender.

연구 동기 및 목표

• 대규모 합성 포인트 클라우드가 3D 의미 분할 및 분류 네트워크의 사전 학습에 대한 가능성을 입증한다.
• 합성에서 실제 3D 데이터로의 도메인 전이 연구를 촉진하기 위한 공개 데이터 세트를 제공한다.
• 합성 MLS와 유사한 포인트 클라우드의 생성 파이프라인, 데이터 표현, 라벨링 체계를 탐구한다.
• 합성 데이터에서 클래스 불균형 및 현실성 등의 문제를 논의하고 이를 완화하기 위한 전략을 제시한다.

제안 방법

• Blender와 Blensor 센서 플러그인을 사용하여 도시/교외 풍경에서 대규모의 전역 등록 MLS 스타일 포인트 클라우드를 생성한다.
• 장면을 130개 건물, 196대의 자동차, 21개 자연 지면 평면, 12개 지면 평면, 272개 기둥 유사 객체, 172개 도로 물체, 1095개 거리 가구 객체, 217그루의 나무로 모델링한다.
• 사전 정의된 궤적을 따라 75,000프레임의 키 프레임을 렌더링하고 다양성을 높이기 위해 무작위 요동을 적용한다.
• 스캐너의 위치와 방향에서 도출된 변환 T를 사용해 x˗, y˗, z˗ 회전 행렬 R_x, R_y, R_z와 평행 이동 S_x,S_y,S_z를 포함하는 전역 프레임으로 스캔 포인트를 변환한다.
• 각 포인트 특징 x,y,z, x_n,y_n,z_n, time, eol, 라벨 l을 l in 0..8로 첨부하고, 메모리 초과 처리를 위한 Apache Parquet 포맷으로 데이터를 저장한다.

실험 결과

연구 질문

• RQ1 합성의 대규모 3D 포인트 클라우드가 실제 세계 의미 분할 작업을 위해 네트워크를 효과적으로 사전 학습할 수 있는가?
• RQ2 MLS 유사 포인트 클라우드의 사전 학습에 사용될 때 합성 데이터가 도메인 간 일반화에 어떤 영향을 미치는가?
• RQ3 합성 3D 데이터에서 포인트별 분류에 효과적인 라벨링 체계와 특징 집합은 무엇인가?
• RQ4 이처럼 대규모 합성 데이터세트를 위한 실용적인 데이터 저장 및 처리 고려사항은 무엇인가?

주요 결과

• 데이터세트는 367.9M 포인트를 9개 범주로 라벨링한다.
• 최종 특징 집합에는 x, y, z, x_n, y_n, z_n, R, G, B, time, eol, 및 label이 포함된다.
• parquet에서의 총 데이터 세트 크기는 27.5GB이며, 메모리 관리 및 테스트/훈련 분리를 위해 9개 하위 영역으로 분할하였다.
• 클래스 분포는 의도적으로 작은 클래스를 바이어스하려 했음에도 불구하고 불균형을 드러내며, 도로/포장과 같은 큰 연속 클래스가 지배적이다.
• Blensor 기반 MLS 시뮬레이션은 의미 분할 연구에 적합한 포인트별 라벨이 있는 전역 등록 3D 포인트를 생성할 수 있다.
• 동일 파이프라인으로 재렌더링하여 다른 스캐너 모델(예: Velodyne)로도 확장할 수 있다.