[论文解读] Towards Semantic Segmentation of Urban-Scale 3D Point Clouds: A Dataset, Benchmarks and Challenges

Qingyong Hu, Bo Yang+4 more|arXiv (Cornell University)|Sep 7, 2020

Remote Sensing and LiDAR Applications参考文献 71被引用 26

一句话总结

本文介绍了SensatUrban，这是一个大规模的城市三维点云数据集，覆盖英国三个城市共7.6平方公里，包含近三十亿个标注点，可用于语义分割模型的基准测试。研究识别出关键挑战——大规模数据预处理、类别不平衡、RGB颜色信息利用以及跨城市泛化能力——并表明先进的损失函数可改善罕见类别的性能，但跨城市区域的泛化能力仍严重受限。

ABSTRACT

An essential prerequisite for unleashing the potential of supervised deep learning algorithms in the area of 3D scene understanding is the availability of large-scale and richly annotated datasets. However, publicly available datasets are either in relative small spatial scales or have limited semantic annotations due to the expensive cost of data acquisition and data annotation, which severely limits the development of fine-grained semantic understanding in the context of 3D point clouds. In this paper, we present an urban-scale photogrammetric point cloud dataset with nearly three billion richly annotated points, which is three times the number of labeled points than the existing largest photogrammetric point cloud dataset. Our dataset consists of large areas from three UK cities, covering about 7.6 km^2 of the city landscape. In the dataset, each 3D point is labeled as one of 13 semantic classes. We extensively evaluate the performance of state-of-the-art algorithms on our dataset and provide a comprehensive analysis of the results. In particular, we identify several key challenges towards urban-scale point cloud understanding. The dataset is available at https://github.com/QingyongHu/SensatUrban.

研究动机与目标

• 为解决城市尺度语义分割缺乏大规模、丰富标注的三维点云数据集的问题。
• 建立一个基准，用于评估最先进深度学习模型在真实城市场景中的表现。
• 识别并实证分析城市尺度三维点云理解中的关键挑战，包括数据预处理、类别不平衡和模型泛化能力。
• 通过数据集中未标注的3.2平方公里区域，为未来自监督和半监督学习研究提供支持。
• 通过高分辨率、摄影测量生成的三维数据，推动智慧城市建设、数字孪生和自主导航的发展。

提出的方法

• 使用专业级无人机测绘系统获取高分辨率航空影像，生成伯明翰、剑桥和约克三座城市的摄影测量三维点云。
• 人工标注伯明翰和剑桥的每个三维点，赋予13种语义类别之一（如地面、植被、汽车、建筑），总计约三十亿个标注点。
• 使用mIoU等标准指标，评估最先进深度学习模型（如PointNet、RandLA-Net、KPConv）在该数据集上的表现。
• 通过对比使用和不使用颜色特征的模型，探究RGB颜色信息的影响。
• 应用五种先进损失函数——交叉熵、加权交叉熵（逆频率和平方根频率）、Lovász-Softmax和焦点损失，以缓解类别不平衡问题。
• 通过在伯明翰上训练并在剑桥上测试，开展跨城市泛化实验，评估模型在不同城市区域的鲁棒性。

实验结果

研究问题

• RQ1 如何在不牺牲分割精度的前提下，对高达三十亿个点的超大规模城市三维点云进行有效预处理和划分，以适用于深度学习？
• RQ2 与仅使用强度信息或基于LiDAR的数据相比，RGB颜色信息的引入在摄影测量点云中在多大程度上提升了语义分割性能？
• RQ3 当主要类别（如地面和植被）占主导地位时，极端类别不平衡如何影响模型性能？现有损失函数能否有效缓解此问题？
• RQ4 为何在某一城市区域（如伯明翰）训练的深度学习模型无法泛化到另一区域（如剑桥）？导致这一泛化差距的关键因素是什么？
• RQ5 在智慧城市建设、数字孪生等真实城市应用中部署语义分割模型时，主要瓶颈是什么？

主要发现

• SensatUrban数据集在英国三座城市共7.6平方公里范围内包含约三十亿个标注的三维点，其规模是此前最大摄影测量数据集的三倍。
• 引入RGB颜色显著提升了分割性能，尤其对自行车、栏杆等细粒度类别，这些类别在缺乏颜色上下文时识别效果极差。
• 先进的损失函数（如焦点损失和基于逆平方根频率的加权交叉熵）有效缩小了罕见类别之间的性能差距——mIoU最高提升5%，自行车分割性能提升超过20%。
• 尽管使用了先进损失函数，自行车等罕见类别仍表现不佳（如mIoU < 10%），表明数据不平衡仍是亟待解决的关键挑战。
• 跨城市泛化性能显著下降，当在伯明翰训练的模型在剑桥上测试时，mIoU最高下降20%，尤其对形态多变的类别（如铁轨和水体）影响更大。
• 模型泛化失败的主要原因在于类别不平衡以及不同城市间城市物体形态的高变异性，凸显了真实世界部署中的重大开放挑战。