[论文解读] Machine-learned 3D Building Vectorization from Satellite Imagery

Yi Wang, Stefano Zorzi+1 more|arXiv (Cornell University)|Apr 13, 2021

Remote Sensing and LiDAR Applications参考文献 33被引用 6

一句话总结

本文提出了一种用于从单通道摄影测量数字表面模型（DSM）和全色卫星影像中自动进行3D建筑矢量化处理的机器学习流水线。该方法采用带有CBAM模块的条件生成对抗网络（cGAN）对DSM进行优化，利用共享架构的语义分割网络检测边缘和角点，并提出一种新型矢量化流水线，生成包含精确高度信息的LoD-2建筑模型，在大规模卫星数据上实现了最先进性能。

ABSTRACT

We propose a machine learning based approach for automatic 3D building reconstruction and vectorization. Taking a single-channel photogrammetric digital surface model (DSM) and panchromatic (PAN) image as input, we first filter out non-building objects and refine the building shapes of input DSM with a conditional generative adversarial network (cGAN). The refined DSM and the input PAN image are then used through a semantic segmentation network to detect edges and corners of building roofs. Later, a set of vectorization algorithms are proposed to build roof polygons. Finally, the height information from the refined DSM is added to the polygons to obtain a fully vectorized level of detail (LoD)-2 building model. We verify the effectiveness of our method on large-scale satellite images, where we obtain state-of-the-art performance.

研究动机与目标

• 为解决从大规模卫星影像中重建精确、完全矢量化的3D建筑模型（LoD-2）的挑战。
• 通过深度学习方法过滤非建筑物体并优化建筑形状，提升摄影测量DSM的质量。
• 通过检测边缘和角点，实现建筑屋顶的自动矢量化。
• 将优化后的DSM高度信息集成到矢量化的2D多边形中，生成完整的3D建筑模型。
• 仅使用DSM和全色影像输入，实现3D建筑重建的最先进性能，避免依赖LiDAR或复杂的多传感器融合技术。

提出的方法

• 采用带有CBAM注意力模块的条件生成对抗网络（cGAN）对输入的摄影测量DSM进行优化，去除非建筑物体并提升建筑形状的准确性。
• 采用共享架构的语义分割网络在优化后的DSM和全色影像上检测边缘和角点，利用cGAN生成器提取的特征。
• 应用非极大值抑制（NMS）选择置信度最高的角点，减少冗余并提高定位精度。
• 通过缓冲区连通性分析与阈值处理，将检测到的边缘聚合成连续线段，实现鲁棒的多边形化。
• 矢量化流水线基于检测到的边缘和角点构建屋顶多边形，并从优化后的DSM插值高度值，形成3D LoD-2模型。
• 最终通过将优化后DSM中的高度值分配给每个多边形面，生成3D模型，确保几何一致性与拓扑正确性。

实验结果

研究问题

• RQ1 基于深度学习的cGAN结合CBAM注意力模块是否能有效提升摄影测量DSM在建筑重建中的质量？
• RQ2 共享架构的语义分割网络在优化后的DSM与全色影像输入下，检测屋顶边缘和角点的效率如何？
• RQ3 所提出的新型矢量化流水线能否从检测到的边缘和角点中准确重建3D建筑屋顶多边形？
• RQ4 将优化后的DSM高度数据集成到矢量化2D多边形中，对最终3D LoD-2模型的精度有何影响？
• RQ5 与现有混合方法及数据驱动方法相比，该方法在几何精度与完整性方面表现如何？

主要发现

• 所提出的cGAN结合CBAM注意力模块显著降低了DSM噪声，提升了建筑形状的精细化程度，在慕尼黑测试区域中，屋脊高度的平均绝对高度差（|ΔH|）为0.74 m，檐口高度为0.99 m。
• 边缘与角点检测网络表现出高精度，与真实值相比平均平面朝向误差小于10°，显著优于原始摄影测量DSM。
• 矢量化流水线在柏林测试区域成功重建3D建筑模型，召回率得分为0.81，表明即使存在部分缺失组件，仍具备较强鲁棒性。
• 该方法在大规模卫星影像上实现了最先进性能，其高度精度与模型完整性优于先前的混合方法（如Partovi等人[24]）。
• 整体高度预测的均方根误差（RMSE）为0.74 m（屋脊）和1.54 m（檐口），NMAD值分别为0.59和0.68，表明与参考数据高度一致且偏差极低。
• 尽管性能有所提升，该方法在模型重建完整性方面仍存在不足，召回率从优化DSM的0.88下降至矢量化模型的0.81，表明在捕捉所有建筑组件方面仍面临挑战。