[论文解读] Building Detection from Satellite Images on a Global Scale

Amy Zhang, Xianming Liu+2 more|arXiv (Cornell University)|Jul 27, 2017

Remote-Sensing Image Classification参考文献 5被引用 19

一句话总结

本文提出了一种基于高分辨率卫星图像的弱监督与半监督深度学习的全局可扩展建筑检测系统，实现90%的精确率与89%的召回率。该系统引入一种双模型流水线，结合快速分类网络与弱监督分割头，并通过去噪与主动学习技术增强，实现对多样化全球区域的大规模人口密度制图，且仅需极少的人工标注。

ABSTRACT

In the last several years, remote sensing technology has opened up the possibility of performing large scale building detection from satellite imagery. Our work is some of the first to create population density maps from building detection on a large scale. The scale of our work on population density estimation via high resolution satellite images raises many issues, that we will address in this paper. The first was data acquisition. Labeling buildings from satellite images is a hard problem, one where we found our labelers to only be about 85% accurate at. There is a tradeoff of quantity vs. quality of labels, so we designed two separate policies for labels meant for training sets and those meant for test sets, since our requirements of the two set types are quite different. We also trained weakly supervised footprint detection models with the classification labels, and semi-supervised approaches with a small number of pixel-level labels, which are very expensive to procure.

研究动机与目标

• 开发一种可扩展的全球建筑检测系统，能够处理多样化地理与建筑背景下的高分辨率卫星图像。
• 通过采用弱监督与半监督学习结合主动学习，解决数据不平衡与高标注成本的挑战。
• 通过端到端去噪与数据质量过滤，降低图像质量差异（如云层覆盖、噪声）带来的系统性误差。
• 通过在选定区域进行增量微调，提升全球模型在不同国家间的泛化能力。
• 通过生成高精度、开源的全球尺度建筑轮廓图，实现大规模人口密度估算。

提出的方法

• 基于SegNet的弱监督分类模型，对64×64图像掩码使用全局平均池化，生成像素级概率图，使用弱‘像素级’标签进行训练。
• 基于边缘检测的边界框提案算法将候选区域数量减少50%，将计算资源集中于可能包含建筑的区域。
• 采用半监督方法，利用少量昂贵的像素级标注数据，提升分割性能。
• 训练一个端到端的浅层神经网络，用于对卫星图像进行去噪，以解决噪声与云层遮挡问题，再进行分类。
• 主动学习选择接近分类阈值的不确定掩码进行标注，提升数据效率与模型鲁棒性。
• 通过反馈回路，将结果以KMZ文件形式叠加在Google Earth上可视化，以检测并纠正系统性错误。

实验结果

研究问题

• RQ1 单一全球深度学习模型是否能在建筑风格与图像质量各异的多样化全球区域中实现高精度的建筑检测？
• RQ2 弱监督与半监督学习在多大规模建筑检测中，如何减少对昂贵像素级标注的需求？
• RQ3 数据去噪与质量过滤在云层覆盖与成像伪影存在的情况下，能在多大程度上提升模型的鲁棒性？
• RQ4 在特定国家进行增量微调，如何在不发生过拟合的前提下提升全球模型的性能？
• RQ5 主动学习在平衡数据集类别分布与提升模型置信度方面发挥何种作用？

主要发现

• 该全球建筑检测系统在高度不平衡的测试集上实现了90%的精确率与89%的召回率，其中93%的样本为非建筑类别。
• 使用边界框提案算法使候选掩码数量减少50%，显著加速推理过程，同时保持高召回率。
• 通过学习的神经网络进行去噪，显著提升了低质量图像的分类结果，视觉对比显示去噪前后效果差异明显。
• 在少数目标国家对全球模型进行微调后，验证集上的精确率与召回率提升了20–40%，证明了有效的迁移学习能力。
• 主动学习与不确定性采样通过优先标注模糊样本，提升了模型性能，增强了数据效率。
• 该系统成功为莫桑比克、马达加斯加和印度生成了高分辨率建筑热力图，相比以往方法，显著提升了人口密度估算的准确性。