[论文解读] CG-Net: Conditional GIS-aware Network for Individual Building Segmentation in VHR SAR Images

Yao Sun, Yuansheng Hua+2 more|arXiv (Cornell University)|Nov 17, 2020

Automated Road and Building Extraction参考文献 72被引用 45

一句话总结

该论文提出CG-Net，一种条件GIS感知的深度学习框架，利用GIS数据中的建筑轮廓来提升超大分辨率（VHR）SAR图像中单个建筑的分割性能。通过将特征归一化条件化于GIS衍生的建筑轮廓，CG-Net在柏林TerraSAR-X图像上实现了75.08%的F1分数，达到当前最优水平，展现出对GIS定位误差的鲁棒性，并实现了从SAR数据重建精确的3D LoD1建筑模型。

ABSTRACT

Object retrieval and reconstruction from very high resolution (VHR) synthetic aperture radar (SAR) images are of great importance for urban SAR applications, yet highly challenging owing to the complexity of SAR data. This paper addresses the issue of individual building segmentation from a single VHR SAR image in large-scale urban areas. To achieve this, we introduce building footprints from GIS data as complementary information and propose a novel conditional GIS-aware network (CG-Net). The proposed model learns multi-level visual features and employs building footprints to normalize the features for predicting building masks in the SAR image. We validate our method using a high resolution spotlight TerraSAR-X image collected over Berlin. Experimental results show that the proposed CG-Net effectively brings improvements with variant backbones. We further compare two representations of building footprints, namely complete building footprints and sensor-visible footprint segments, for our task, and conclude that the use of the former leads to better segmentation results. Moreover, we investigate the impact of inaccurate GIS data on our CG-Net, and this study shows that CG-Net is robust against positioning errors in GIS data. In addition, we propose an approach of ground truth generation of buildings from an accurate digital elevation model (DEM), which can be used to generate large-scale SAR image datasets. The segmentation results can be applied to reconstruct 3D building models at level-of-detail (LoD) 1, which is demonstrated in our experiments.

研究动机与目标

• 解决在大规模VHR SAR图像中进行单个建筑分割的挑战，其中由于地距折叠和阴影效应导致严重重叠和模糊。
• 通过将互补的GIS建筑轮廓数据作为条件监督，提升分割精度。
• 评估不同GIS轮廓表示形式——完整轮廓与传感器可见部分——对分割性能的影响。
• 评估该方法在真实GIS数据不准确情况下的鲁棒性，例如定位误差。
• 展示分割结果在从SAR数据重建3D LoD1建筑模型方面的实用性。

提出的方法

• CG-Net采用条件特征归一化模块，利用GIS衍生的建筑轮廓指导U-Net结构编码器-解码器网络中的特征学习。
• 该模型将深层CNN主干网络（如DeepLabv3+）提取的多层级视觉特征与空间对齐的GIS轮廓数据融合，以优化分割掩码。
• 提出一种新颖的真值生成流程，利用高分辨率DEM数据自动生成准确的建筑掩码，从而实现大规模SAR数据集的创建。
• 该框架通过结合SAR图像块与对应GIS轮廓进行训练，损失函数针对IoU和F1分数进行优化。
• 该方法支持将完整建筑轮廓或部分、传感器可见的轮廓片段作为输入，提升了在数据可用性受限时的灵活性。
• 通过公式 h = l / cosθ 估算斜距方向上的地距折叠长度，实现3D LoD1建筑模型的重建。

实验结果

研究问题

• RQ1 与纯数据驱动的方法相比，GIS衍生的建筑轮廓是否能显著提升VHR SAR图像中单个建筑的分割性能？
• RQ2 GIS轮廓的哪种表示形式——完整轮廓或传感器可见部分——能带来更好的分割性能？
• RQ3 所提出的CG-Net对开放源GIS数据（如OpenStreetMap）中常见的定位误差有多大的鲁棒性？
• RQ4 分割结果能否被有效用于从SAR数据中重建LoD1级别的3D建筑模型？
• RQ5 从SAR衍生的地距折叠区域中，建筑高度估计的可实现精度如何？

主要发现

• CG-Net在柏林TerraSAR-X数据集上实现了75.08%的SOTA F1分数，优于基线模型。
• 使用完整建筑轮廓作为输入，分割结果显著优于仅使用传感器可见轮廓片段，IoU提升达4.5%。
• 该模型对GIS定位误差具有鲁棒性，即使在轮廓存在高达10米误差时仍保持强劲性能，使用错误数据时F1分数仅下降3.62%。
• 与高分辨率DEM的真值相比，LoD1重建中的平均建筑高度误差为2.39米。
• 所提出的基于DEM的真值生成方法可实现大规模SAR图像的可扩展、高精度标注，适用于深度学习模型的训练。
• 视觉结果证实，具有大面积地距折叠区域（在SAR中可见）的建筑被正确识别为高层建筑，而地距折叠较小的建筑则被重建为低层建筑，与真实世界几何结构一致。