[论文解读] Building3D: An Urban-Scale Dataset and Benchmarks for Learning Roof Structures from Point Clouds

Ruisheng Wang, Shangfeng Huang+1 more|arXiv (Cornell University)|Jul 21, 2023

Remote Sensing and LiDAR ApplicationsEnvironmental Science被引用 3

一句话总结

本论文提出了 Building3D，这是首个大规模的城市数据集，涵盖爱沙尼亚16座城市的161,910栋建筑，包含航拍LiDAR点云、3D网格模型以及新型线框表示。该研究建立了3D屋顶重建的监督与自监督学习基线，证明自监督预训练可显著提升在有限标注数据下的性能，为城市尺度3D建模设立了新基准。

ABSTRACT

Urban modeling from LiDAR point clouds is an important topic in computer vision, computer graphics, photogrammetry and remote sensing. 3D city models have found a wide range of applications in smart cities, autonomous navigation, urban planning and mapping etc. However, existing datasets for 3D modeling mainly focus on common objects such as furniture or cars. Lack of building datasets has become a major obstacle for applying deep learning technology to specific domains such as urban modeling. In this paper, we present a urban-scale dataset consisting of more than 160 thousands buildings along with corresponding point clouds, mesh and wire-frame models, covering 16 cities in Estonia about 998 Km2. We extensively evaluate performance of state-of-the-art algorithms including handcrafted and deep feature based methods. Experimental results indicate that Building3D has challenges of high intra-class variance, data imbalance and large-scale noises. The Building3D is the first and largest urban-scale building modeling benchmark, allowing a comparison of supervised and self-supervised learning methods. We believe that our Building3D will facilitate future research on urban modeling, aerial path planning, mesh simplification, and semantic/part segmentation etc.

研究动机与目标

• 为解决城市建模中，特别是从LiDAR点云重建屋顶结构时，缺乏大规模真实世界3D建筑数据集的问题。
• 提供一个全面的基准，用于评估监督与自监督深度学习方法在真实城市场景中的表现。
• 引入线框模型作为多面体建筑的新型紧凑表示形式，以支持高效建模与下游任务。
• 在具有高噪声、数据不平衡与类内差异大的挑战性大规模数据集上，评估最先进深度学习方法与手工特征方法的性能。
• 通过公开、高质量的数据集，推动未来在城市建模、航拍路径规划、网格简化以及语义/部件分割等方向的研究。

提出的方法

• 该数据集包含来自爱沙尼亚16座城市的875.39亿个航拍LiDAR点与161,910个3D建筑模型，覆盖约998 km²的区域。
• 通过标准3D重建流程从点云生成网格模型，随后通过提取顶点与边，将网格模型转换为线框模型。
• 基于点云的深度学习模型建立监督基线，用于屋顶结构预测，并在完整标注数据上进行训练。
• 通过在未标注点云上预训练掩码自编码模型（如Point-MAE），再在有限标注数据上微调，引入自监督基线。
• 评估框架包含RMSE、IoU与边缘召回率（ER）等指标，并通过在1%至80%数据比例下的消融实验，评估数据稀缺条件下的泛化能力。
• 对传统方法如2.5D双曲轮廓法、PolyFit与拓扑感知建模进行对比评估，并由专家进行参数调优。

实验结果

研究问题

• RQ1 自监督学习方法在大规模、噪声大且不完整的LiDAR点云上进行3D屋顶重建时表现如何？
• RQ2 线框模型能否作为3D建筑重建的有效且高效的表示形式，尤其是在与网格模型对比时？
• RQ3 基于深度学习的方法与传统手工特征方法在真实世界城市点云上的性能差距有多大？
• RQ4 在标注数据有限的情况下，模型性能如何变化？自监督预训练能否缓解城市建模中的数据稀缺问题？
• RQ5 高类内差异、数据不平衡与噪声等问题在多大程度上影响3D重建模型的泛化能力？

主要发现

• Building3D数据集是首个且规模最大的城市级3D屋顶建模基准，涵盖161,910栋建筑与875.39亿个LiDAR点，覆盖爱沙尼亚16座城市。
• 自监督预训练显著提升了在有限标注数据下的性能，优于相同数据比例下的Point-MAE（如1%、10%、20%、50%、80%）。
• 尽管RMSE与IoU低于传统方法，但深度学习模型生成的网格更平滑且面数更少，这得益于线框真实值对优化过程的引导作用。
• 手工方法如PolyFit与2.5D双曲轮廓法需要密集且完整的点云及专家调参，而深度学习方法可在开放、不完整的点云上直接运行，无需参数调优。
• 所有方法在边缘召回率（ER）上均表现不佳，表明由于真实LiDAR扫描中的数据不完整与噪声，检测边缘与角点仍具挑战性。
• 该数据集支持多样化的下游应用，包括语义分割、网格简化、轮廓检测与航拍路径规划，得益于其丰富的标注信息与多层级表示。