[논문 리뷰] DublinCity: Annotated LiDAR Point Cloud and its Applications

S. M. Iman Zolanvari, Susana Ruano외 5명|arXiv (Cornell University)|2019. 09. 06.

Remote Sensing and LiDAR Applications참고 문헌 34인용 수 50

한 줄 요약

도시 규모의 ALS LiDAR 데이터셋 Dublin에 대해 260 million 라벨링 포인트가 13개 클래스에 걸쳐 있으며, CNN을 이용한 3D 객체 분류 학습과 LiDAR 기준 ground truth에 대한 이미지 기반 3D 재구성 평가에 사용됩니다.

ABSTRACT

Scene understanding of full-scale 3D models of an urban area remains a challenging task. While advanced computer vision techniques offer cost-effective approaches to analyse 3D urban elements, a precise and densely labelled dataset is quintessential. The paper presents the first-ever labelled dataset for a highly dense Aerial Laser Scanning (ALS) point cloud at city-scale. This work introduces a novel benchmark dataset that includes a manually annotated point cloud for over 260 million laser scanning points into 100'000 (approx.) assets from Dublin LiDAR point cloud [12] in 2015. Objects are labelled into 13 classes using hierarchical levels of detail from large (i.e., building, vegetation and ground) to refined (i.e., window, door and tree) elements. To validate the performance of our dataset, two different applications are showcased. Firstly, the labelled point cloud is employed for training Convolutional Neural Networks (CNNs) to classify urban elements. The dataset is tested on the well-known state-of-the-art CNNs (i.e., PointNet, PointNet++ and So-Net). Secondly, the complete ALS dataset is applied as detailed ground truth for city-scale image-based 3D reconstruction.

연구 동기 및 목표

• 도시 요소 전반에 걸친 촘촘하고 계층적인 라벨을 제공하는 수동으로 주석이 달린 도시 규모의 LiDAR 포인트 클라우드를 Dublin에 대해 생성한다.
• 실제 야외 ALS 데이터에서 최첨단 CNN을 사용한 3D 객체 분류에 대한 엄밀한 평가를 가능하게 한다.
• 밀집 LiDAR 측정과 대조하여 이미지 기반 3D 재구성을 평가하기 위한 기준 참조를 제공한다.

제안 방법

• 1.4십억 포인트의 Dublin ALS 데이터셋에서 260 million 포인트 이상을 수동으로 라벨링하여 13개 클래스와 세 가지 계층 수준에 걸친 약 100,000개의 자산으로 분류한다.
• CloudCompare를 사용해 데이터를 분할·라벨링하고 거칠은(coarse) 수준(건물/지면/식생/정의되지 않음)에서 세밀한 수준(지붕 파사드, 문, 창문)으로 정제한다.
• 세 가지 CNN 기반 모델(PointNet, PointNet++, SO-Net)을 5개 클래스(문, 창문, 파사드, 지붕, 나무)에 걸친 3982개의 라벨링된 객체에 대해 학습하고 평가한다.
• 두 이미지 세트(상단 시점 및 경사 항공 이미지)에서 이미지 기반 재구성을 생성하기 위해 COLMAP을 적용하고 GPS 사전 지식과 ICP 보정을 통해 LiDAR에 정합한다.
• 타일 단위로 정밀도, 재현율, F-score 지표를 사용하여 이미지 기반 재구성과 LiDAR 기준 참조를 비교한다.
• 커뮤니티 사용 및 향후 클래스별 평가를 위해 데이터셋을 공개적으로 제공한다.

실험 결과

연구 질문

• RQ1 도시 규모의 manually labeled ALS LiDAR 데이터셋을 도시 요소에 대해 얼마나 촘촘하고 정확하게 만들 수 있는가?
• RQ2 현대의 CNN(PointNet, PointNet++, SO-Net)이 실제로 촘촘한 LiDAR 데이터로 도시 요소를 분류하는 데 얼마나 효과적인가?
• RQ3 도시 규모의 장면에서 이미지 기반 재구성이 촘촘한 LiDAR 기준을 얼마나 잘 근사하는가?

주요 결과

# 포인트	평균 클래스	전체	평균 클래스	전체	평균 클래스	전체
512	24.17	35.17	39.47	45.56	41.89	48.74
1024	38.84	50.13	44.65	62.91	45.73	63.54
2048	46.77	59.68	49.23	63.42	49.34	64.55
4096	48.77	60.68	51.23	64.42	50.34	65.55

• DublinCity 데이터셋은 13개의 계층적 클래스에서 약 260 million 포인트를 100,000개의 자산으로 포함하고 평균 밀도는 약 348.43 points/m^2이다.
• SO-Net은 테스트된 모델(PointNet, PointNet++, SO-Net) 중에서 Table 1에 기재된 대로 객체당 포인트 수가 다양하게 변함에 따라 전체/분류 성능이 가장 우수했다.
• 객체당 입력 포인트 수가 늘어나면 분류 점수가 증가하며(SO-Net은 4096 포인트에서 Overall accuracy 65.55%에 도달), 512–4096 포인트 구간에서 개선이 확인된다.
• 이미지 기반 재구성(top-view 및 oblique)은 촘촘한 포인트 구성을 가지며 LiDAR 데이터셋보다 네 배 이상 촘촘하며, oblique 시점이 대부분의 타일에서 지상-truth와의 거리 차이가 더 작게 나타난 경향이 있다.
• 정밀도, 재현율, F-score 분석은 이미지 기반 재구성의 타일 의존적 성능을 보이며, oblique 이미지가 top-view보다 지상 truth에 더 근접한 경우가 많다.