[论文解读] Deep Learning Guided Building Reconstruction from Satellite Imagery-derived Point Clouds

Bo Xu, Xu Zhang+4 more|arXiv (Cornell University)|May 19, 2020

Remote Sensing and LiDAR Applications参考文献 32被引用 4

一句话总结

本文提出了一种由深度学习引导的端到端框架，用于从噪声较大的卫星衍生点云中鲁棒地重建三维建筑模型。该方法使用PointNet进行屋顶形状分割，并采用多线索分层RANSAC方法提取平面、圆柱和平面球面原始体，相较于航空LiDAR真值，在四个城市区域中实现了83.0%的屋顶形状识别准确率，完整度和正确率均超过70%。

ABSTRACT

3D urban reconstruction of buildings from remotely sensed imagery has drawn significant attention during the past two decades. While aerial imagery and LiDAR provide higher resolution, satellite imagery is cheaper and more efficient to acquire for large scale need. However, the high, orbital altitude of satellite observation brings intrinsic challenges, like unpredictable atmospheric effect, multi view angles, significant radiometric differences due to the necessary multiple views, diverse land covers and urban structures in a scene, small base-height ratio or narrow field of view, all of which may degrade 3D reconstruction quality. To address these major challenges, we present a reliable and effective approach for building model reconstruction from the point clouds generated from multi-view satellite images. We utilize multiple types of primitive shapes to fit the input point cloud. Specifically, a deep-learning approach is adopted to distinguish the shape of building roofs in complex and yet noisy scenes. For points that belong to the same roof shape, a multi-cue, hierarchical RANSAC approach is proposed for efficient and reliable segmenting and reconstructing the building point cloud. Experimental results over four selected urban areas (0.34 to 2.04 sq km in size) demonstrate the proposed method can generate detailed roof structures under noisy data environments. The average successful rate for building shape recognition is 83.0%, while the overall completeness and correctness are over 70% with reference to ground truth created from airborne lidar. As the first effort to address the public need of large scale city model generation, the development is deployed as open source software.

研究动机与目标

• 解决从多视角卫星影像生成的低质量、噪声较大的点云中重建详细三维建筑模型的挑战。
• 克服现有方法在应用于卫星衍生点云时，对高分辨率航空或LiDAR数据设计的局限性。
• 通过整合深度学习与传统几何分割技术，实现大规模、自动化的三维城市建模。
• 在具有多样化屋顶类型、噪声和数据空洞的复杂城市场景中提升重建的鲁棒性。
• 开发一个公开可用的开源软件流水线，实现基于卫星数据的大规模城市建模。

提出的方法

• 采用基于PointNet的深度学习模型，直接从原始点云中分类屋顶形状，利用一种新颖的数据合成方法以减少对手动标注的依赖。
• 在分割前，应用移动最小二乘法和中值滤波以抑制结构化噪声并填补卫星衍生点云中的空洞。
• 实施一种多线索分层RANSAC算法，利用表面法向量和图像颜色信息，鲁棒地检测平面、圆柱形和球形屋顶原始体。
• 采用分层RANSAC策略，通过优先处理更简单的形状来加速计算并提高分割可靠性。
• 执行边界正则化和屋顶拓扑重建，从分割后的原始体生成连贯、闭合的三维建筑模型。
• 将整个流水线集成到一个端到端的自动化系统中，可部署于亚马逊云服务（Amazon Web Services）等云平台。

实验结果

研究问题

• RQ1 在传统方法失效的噪声较大、卫星衍生点云中，深度学习能否有效分类复杂的屋顶形状？
• RQ2 如何使几何分割在卫星点云固有的高噪声和数据稀疏性条件下保持鲁棒性？
• RQ3 与标准RANSAC相比，多线索分层RANSAC方法在原始体检测的准确性和效率方面能提升多少？
• RQ4 所提出的方法能否在不依赖高分辨率航空或LiDAR数据的情况下，实现大规模高质量的三维建筑重建？
• RQ5 端到端流水线在完整度、正确率和IoU方面与航空LiDAR真值相比表现如何？

主要发现

• 该方法在四个城市测试区域中实现了平均83.0%的屋顶形状识别率，表明其在复杂场景中具有强大的泛化能力。
• 在两个较大测试区域（0.96和2.04 km²）中，重建模型的整体完整度和正确率均超过70%，与航空LiDAR真值相比的3D IoU得分在70%至75%之间。
• 该方法成功重建了复杂屋顶类型，包括球形和曲面形状，如在AOI 4中，6个球形屋顶中有4个被准确捕获，验证了其有效性。
• 分割流水线中缺少圆柱形和球形模型导致了裂缝和不完整重建，凸显了原始体库中形状多样性的关键作用。
• 多线索分层RANSAC显著提升了分割可靠性并减少了计算时间，尤其在噪声环境中表现更优。
• 该流水线的开源实现支持大规模部署，并可集成到基于云的城市建模服务中，实现了可扩展、自动化的三维城市建模目标。