[论文解读] Building-Level Comparison of Microsoft and Google Open Building Footprints Datasets (Short Paper)

Wojciech Sirko, Sergii Kashubin+8 more|arXiv (Cornell University)|Jul 26, 2021

Remote-Sensing Image Classification参考文献 17被引用 218

一句话总结

该论文提出了一种可扩展的、基于U-Net的深度学习流程，利用50厘米分辨率的卫星图像实现非洲大陆范围内的建筑物轮廓检测。通过整合mixup数据增强、使用软KL损失的自训练以及优化后的后处理，该方法取得了最先进性能，最终生成了包含5.16亿个建筑物轮廓的Open Buildings数据集。

ABSTRACT

Identifying the locations and footprints of buildings is vital for many practical and scientific purposes. Such information can be particularly useful in developing regions where alternative data sources may be scarce. In this work, we describe a model training pipeline for detecting buildings across the entire continent of Africa, using 50 cm satellite imagery. Starting with the U-Net model, widely used in satellite image analysis, we study variations in architecture, loss functions, regularization, pre-training, self-training and post-processing that increase instance segmentation performance. Experiments were carried out using a dataset of 100k satellite images across Africa containing 1.75M manually labelled building instances, and further datasets for pre-training and self-training. We report novel methods for improving performance of building detection with this type of model, including the use of mixup (mAP +0.12) and self-training with soft KL loss (mAP +0.06). The resulting pipeline obtains good results even on a wide variety of challenging rural and urban contexts, and was used to create the Open Buildings dataset of 516M Africa-wide detected footprints.

研究动机与目标

• 解决发展中国家在地面真值数据有限情况下的大规模建筑物检测问题。
• 提升在非洲城市、乡村和沙漠等多种环境下的实例分割性能。
• 开发一种可泛化、可扩展的深度学习流程，用于大陆尺度的地图绘制。
• 为科学研究和人道主义用途生成高精度、开放获取的建筑物轮廓数据集。

提出的方法

• 在10万张非洲范围内的卫星图像上训练U-Net模型，其中包含175万个手动标注的建筑物。
• 应用mixup数据增强以将mAP提升+0.12。
• 使用带有软KL损失的自训练方法，将mAP提升+0.06。
• 采用带有高斯卷积的距离加权损失，以增强边界检测能力。
• 实施残差解码器模块和形态学预处理，以优化预测结果。
• 应用基于置信度的去重和轮廓合并方法，以整合重叠检测结果。

实验结果

研究问题

• RQ1 架构选择和损失函数如何影响U-Net在建筑物实例分割中的性能？
• RQ2 mixup和自训练在低资源、高变化性的卫星数据上，能在多大程度上提升检测mAP？
• RQ3 在亮度、粗略/精细位置数据上进行预训练，如何影响模型的泛化能力？
• RQ4 通过基于置信度的合并与轮廓处理，能否减少大规模输出中的误报？

主要发现

• 当在ImageNet上进行预训练并使用亮度数据进行微调时，最终流程的平均精度（mAP）达到0.610。
• 与基线相比，mixup数据增强使mAP提升了+0.12。
• 使用软KL损失的自训练带来了+0.06的mAP增益。
• 该模型在包括乡村、城市和沙漠在内的多样化区域中均保持了强劲性能。
• 经过去重和轮廓处理后，该流程在非洲范围内生成了5.16亿个建筑物轮廓。
• 推导出置信度分数阈值，可实现90%的精确度，支持按区域进行质量控制。