[论文解读] Building Damage Detection in Satellite Imagery Using Convolutional Neural Networks

Joseph Z. Xu, Wenhan Lu+3 more|arXiv (Cornell University)|Oct 14, 2019

Remote-Sensing Image Classification参考文献 11被引用 116

一句话总结

该论文比较四种卷积神经网络架构，在灾后卫星影像中检测受损建筑，发现 twin-tower subtract (TTS) 最优，并展示跨区域 generalization 提高通过多区域训练和微调。

ABSTRACT

In all types of disasters, from earthquakes to armed conflicts, aid workers need accurate and timely data such as damage to buildings and population displacement to mount an effective response. Remote sensing provides this data at an unprecedented scale, but extracting operationalizable information from satellite images is slow and labor-intensive. In this work, we use machine learning to automate the detection of building damage in satellite imagery. We compare the performance of four different convolutional neural network models in detecting damaged buildings in the 2010 Haiti earthquake. We also quantify how well the models will generalize to future disasters by training and testing models on different disaster events.

研究动机与目标

• 推动自动化、可扩展的损伤评估，以加速人道援助响应。
• 开发一个标注了建筑物损伤的灾前/灾后卫星图像裁剪数据集。
• 比较多种CNN架构以识别对错位和灾前/灾后变化的鲁棒性。
• 评估模型在不同灾区和事件中的泛化能力。

提出的方法

• 使用数据生成管线创建以建筑物为中心的灾前/灾后影像裁剪数据集。
• 使用 UNOSAT 评估对损坏建筑进行标签，并通过建筑检测生成负样本。
• 基于灾前/灾后信息融合方式，评估四种CNN架构（CC、PO、TTC、TTS）。
• 在海地数据集上使用5折交叉验证，AUC作为主要评估指标。
• 选择表现最佳的架构（TTS）用于跨区域泛化实验。

实验结果

研究问题

• RQ1 基于CNN的模型能否在不同灾害中准确地从卫星影像检测出受损建筑？
• RQ2 哪种输入融合策略（组合通道、单一灾后图像、带连接或减法的双塔模型）能带来最佳性能？
• RQ3 在一个区域训练的模型在其他区域的泛化程度如何？
• RQ4 用多个区域的数据来增强训练，或在小规模区域集合上进行微调，是否能提升跨区域性能？

主要发现

• Twin-tower subtract (TTS) 架构在海地数据集上实现了最高的验证AUC，0.8302。
• Twin-tower 模型优于单塔模型，表明在抽象比较灾前/灾后信息时具有价值。
• Post-image Only (PO) 模型的表现优于 Concatenated Channel (CC) 模型，表明在融合前进行特征提取有助于处理错位和光照差异。
• 跨区域实验表明，当训练包含多个区域时AUC更高，且使用少量区域子集进行微调可获得进一步提升。
• 当使用少量区域标注对模型进行微调后再应用于更大片区时，可获得最佳跨区域结果。