[论文解读] A Semantic Segmentation Network for Urban-Scale Building Footprint Extraction Using RGB Satellite Imagery

Aatif Jiwani, Shubhrakanti Ganguly+3 more|arXiv (Cornell University)|Apr 2, 2021

Automated Road and Building Extraction被引用 15

一句话总结

该论文提出了一种改进的DeepLabV3+网络，采用空洞残差网络（Dilated Res-Net）作为主干网络，用于在城市尺度下实现高精度的仅RGB影像建筑轮廓分割。通过引入F-Beta损失以解决类别不平衡问题，并采用指数加权边界损失（exponentially weighted boundary loss）以提升相邻建筑的分离效果，该方法在三个基准数据集上均取得了最先进性能，且在视觉质量、尺度、分辨率及城市密度变化方面表现出更强的鲁棒性。

ABSTRACT

Urban areas consume over two-thirds of the world's energy and account for more than 70 percent of global CO2 emissions. As stated in IPCC's Global Warming of 1.5C report, achieving carbon neutrality by 2050 requires a clear understanding of urban geometry. High-quality building footprint generation from satellite images can accelerate this predictive process and empower municipal decision-making at scale. However, previous Deep Learning-based approaches face consequential issues such as scale invariance and defective footprints, partly due to ever-present class-wise imbalance. Additionally, most approaches require supplemental data such as point cloud data, building height information, and multi-band imagery - which has limited availability and are tedious to produce. In this paper, we propose a modified DeeplabV3+ module with a Dilated Res-Net backbone to generate masks of building footprints from three-channel RGB satellite imagery only. Furthermore, we introduce an F-Beta measure in our objective function to help the model account for skewed class distributions and prevent false-positive footprints. In addition to F-Beta, we incorporate an exponentially weighted boundary loss and use a cross-dataset training strategy to further increase the quality of predictions. As a result, we achieve state-of-the-art performances across three public benchmarks and demonstrate that our RGB-only method produces higher quality visual results and is agnostic to the scale, resolution, and urban density of satellite imagery.

研究动机与目标

• 开发一种深度学习模型，仅使用RGB卫星影像即可准确提取建筑轮廓，无需依赖激光雷达、高度数据或多光谱影像等补充数据。
• 解决建筑轮廓分割中的类别不平衡问题，特别是减少误报和重叠轮廓预测。
• 通过新型损失函数设计，提升密集城市区域中相邻建筑的分离效果。
• 在公开基准数据集上实现最先进性能，同时保持对不同卫星影像特征（如尺度、分辨率、城市密度）的鲁棒性。
• 通过减少对稀缺或昂贵数据源的依赖，实现可扩展的、适用于全球范围的城市规划与能效建模。

提出的方法

• 采用改进的DeepLabV3+架构，以空洞残差网络（Dilated Res-Net）作为主干网络，处理三通道RGB卫星影像。
• 在目标函数中引入F-Beta损失函数，优先提升精确率，减轻建筑轮廓分割中类别不平衡的影响。
• 提出一种指数加权边界损失（EWC），对建筑边界处的误预测进行惩罚，增强相邻结构的分离效果。
• 采用跨数据集训练策略，提升模型在多样化城市环境与影像特征下的泛化能力。
• F-Beta与EWC损失的联合使用，实现了精确率与召回率之间的更优权衡，显著减少误报与重叠预测。
• 在全分辨率卫星影像上端到端执行模型推理，生成像素级的建筑轮廓分割掩码。

实验结果

研究问题

• RQ1 仅使用RGB卫星影像的深度学习模型能否在不依赖激光雷达、高程数据或多光谱输入的情况下，实现最先进水平的建筑轮廓分割性能？
• RQ2 F-Beta损失函数在严重类别不平衡条件下如何提升分割性能，特别是如何减少误报预测？
• RQ3 指数加权边界损失在密集城市区域中对提升相邻建筑分离效果的贡献程度如何？
• RQ4 跨数据集训练是否能提升模型在多样化城市环境与影像分辨率下的泛化能力？
• RQ5 所提方法是否能在多个基准数据集上保持高精确率与mIOU，同时减少重叠与稀疏误报的建筑轮廓预测？

主要发现

• 所提方法在三个公开基准数据集（SpaceNet、Urban3D、AICrowd）上均达到最先进性能，mIOU与F-1分数均得到提升。
• 在F-Beta损失中使用β = 0.1时，F-1分数与mIOU达到最高，表明在建筑轮廓分割中精确率比召回率更为关键。
• F-Beta与指数加权边界损失（EWC）的联合使用，显著减少了重叠与误报的建筑轮廓预测，相较基线损失有明显改进。
• 跨数据集训练提升了在Urban3D与SpaceNet上的性能，但在AICrowd上提升有限，表明数据集间存在差异，影响了模型的可迁移性。
• 视觉结果表明，最终模型生成的轮廓更清晰、边界更分明，尤其在高密度区域中相邻建筑的分离效果更优。
• 模型在不同尺度、分辨率与城市密度下均表现出强泛化能力，证实其在真实城市应用中的鲁棒性与实用性。