[论文解读] DublinCity: Annotated LiDAR Point Cloud and its Applications

S. M. Iman Zolanvari, Susana Ruano+5 more|arXiv (Cornell University)|Sep 6, 2019

Remote Sensing and LiDAR Applications参考文献 34被引用 50

一句话总结

简述：一个密集标注的城市尺度 ALS LiDAR 数据集，覆盖都柏林，共 2.6 亿标注点，涵盖 13 个类别，用于训练 CNN 的 3D 物体分类，并用 LiDAR 地面真值对比图像基础的 3D 重建。

ABSTRACT

Scene understanding of full-scale 3D models of an urban area remains a challenging task. While advanced computer vision techniques offer cost-effective approaches to analyse 3D urban elements, a precise and densely labelled dataset is quintessential. The paper presents the first-ever labelled dataset for a highly dense Aerial Laser Scanning (ALS) point cloud at city-scale. This work introduces a novel benchmark dataset that includes a manually annotated point cloud for over 260 million laser scanning points into 100'000 (approx.) assets from Dublin LiDAR point cloud [12] in 2015. Objects are labelled into 13 classes using hierarchical levels of detail from large (i.e., building, vegetation and ground) to refined (i.e., window, door and tree) elements. To validate the performance of our dataset, two different applications are showcased. Firstly, the labelled point cloud is employed for training Convolutional Neural Networks (CNNs) to classify urban elements. The dataset is tested on the well-known state-of-the-art CNNs (i.e., PointNet, PointNet++ and So-Net). Secondly, the complete ALS dataset is applied as detailed ground truth for city-scale image-based 3D reconstruction.

研究动机与目标

• 为都柏林创建一个手工标注的城市尺度 LiDAR 点云，为城市元素提供密集、分层的标签。
• 在真实世界的户外 ALS 数据上，使用最先进的 CNN 对 3D 物体分类进行严格评估。
• 提供一个地面真值参考，评估基于图像的 3D 重建相对于密集 LiDAR 测量的准确性。

提出的方法

• 从一个14亿点的都柏林 ALS 数据集中手工标注超过2.6亿个点，将其划分为约100,000个对象，跨13个类别，具有三层次的分级标签。
• 使用 CloudCompare 对数据进行分割和标注，并从粗略（建筑/地面/植被/未定义）细化到精细（屋顶立面、门、窗）。
• 在 3982 个标注对象、5 个类别（门、窗、立面、屋顶、树）上训练并评估三种基于 CNN 的模型（PointNet、PointNet++、SO-Net）。
• 应用 COLMAP 从两个图像集（俯视图和斜拍航拍图像）生成基于图像的重建，并通过 GPS 先验和 ICP 精化将其对齐到 LiDAR。
• 使用每个瓦片的精确度、召回率和 F 分数指标，将基于图像的重建与 LiDAR 地面真值进行比较。
• 公开提供数据集，供社区使用及将来在分割、GIS 分析和城市建模等任务中进行按类别的评估。

实验结果

研究问题

• RQ1 城市尺度手工标注的 ALS LiDAR 数据集在城市要素方面可以达到多密集和多准确？
• RQ2 现代 CNN（PointNet、PointNet++、SO-Net）在使用真实、密集的 LiDAR 数据对城市要素进行分类方面有多有效？
• RQ3 基于图像的 3D 重建在多大程度上能够逼近覆盖整个城市尺度场景的密集 LiDAR 地面真值？

主要发现

• DublinCity 数据集大约包含 2.6 亿标注点，分布在 100,000 个对象上，涵盖 13 个分层类别，平均密度约为 348.43 点/平方米。
• SO-Net 在测试模型（PointNet、PointNet++、SO-Net）中在 Table 1 所示的不同对象点数下，获得了最佳的整体/分类性能。
• 分类分数随每个对象的输入点数增加（512–4096）而提高，其中 SO-Net 在 4096 点时达到 Overall accuracy 65.55%。
• 基于图像的重建（俯视图和斜拍）产生密集点云，而 LiDAR 数据集仍然密度超过四倍；在大多数瓦片中，斜视所得到的地面真值距离在平均意义上更接近。
• 精确度、召回率和 F-score 的分析显示基于图像的重建在瓦片层面存在差异，斜视图往往比俯视图更接近地面真值。