[论文解读] Building Disaster Damage Assessment in Satellite Imagery with Multi-Temporal Fusion

Ethan Weber, Hassan Kané|arXiv (Cornell University)|Apr 12, 2020

Remote-Sensing Image Classification参考文献 17被引用 71

一句话总结

本文研究了灾前和灾后卫星图像的多时相融合，以在同一网络中联合检测建筑物和进行像元级损伤评估，在 xView2 比赛中实现了基于共享权重的单网络和语义分割的最先进结果。

ABSTRACT

Automatic change detection and disaster damage assessment are currently procedures requiring a huge amount of labor and manual work by satellite imagery analysts. In the occurrences of natural disasters, timely change detection can save lives. In this work, we report findings on problem framing, data processing and training procedures which are specifically helpful for the task of building damage assessment using the newly released xBD dataset. Our insights lead to substantial improvement over the xBD baseline models, and we score among top results on the xView2 challenge leaderboard. We release our code used for the competition.

研究动机与目标

• 为快速、精确的灾害损伤评估以协助应急响应提供动机。
• 展示多时相信息（灾前与灾后）在建筑定位和损伤分类中的价值。
• 确定有效的数据预处理和训练策略，以提升基于 xBD 派生任务的 CNN 性能。
• 表明单网络 can 同时执行定位与损伤评估，并在基线之上获得改进结果。

提出的方法

• 通过共享权重的 CNN 主干同时输入灾前和灾后图像以提取特征。
• 在最终分割头之前融合灾前与灾后流的特征。
• 使用带语义分割头的 Mask R-CNN/Feature Pyramid Network 主干进行像素级类别预测。
• 在 512x512 的裁剪（四分之一）上进行训练，而非使用完整的 1024x1024 图像，以改善定位。
• 应用与类别频率成反比的类别权重，以解决不平衡问题（大量无损伤/无建筑像素）。
• 比较实例分割与语义分割，发现采用带有灾前/灾后输入的语义分割可获得最佳结果。

实验结果

研究问题

• RQ1 单个网络能否使用多时相卫星图像联合执行建筑定位和多类别损伤评估？
• RQ2 多时相输入（灾前与灾后）是否优于单时相方法在建筑损伤分割上的表现？
• RQ3 哪些预处理和损失加权策略能提升在 xBD/xView2 任务上的性能？

主要发现

• 最佳模型采用语义分割，灾前与灾后输入分别通过共享权重输入，然后在分割前进行拼接（concatenate）。
• 在每张图像上对 4 个 512x512 裁剪进行训练，相较于使用完整图像可提升定位和损伤指标。
• 联合预测并使用跨熵（cross-entropy）类别权重可提升损伤和整体 F1 分数。
• 最终定位 F1：0.835；损伤 F1：0.697；整体 F1：0.738 在 xView2 holdout 上。
• 与 xBD 基线相比，所提出模型在所有度量的 F1 分数上均更高（例如整体 F1 0.738 vs 0.265）。
• 在 xView2 排名中，该方法在 Track 3（Evaluation Only）中排名第二，且取得了具有竞争力的结果。