[论文解读] DeepDamageNet: A two-step deep-learning model for multi-disaster building damage segmentation and classification using satellite imagery

Irene Alisjahbana, Jiawei Li+3 more|arXiv (Cornell University)|May 8, 2024

Remote Sensing and Land Use被引用 9

一句话总结

本论文提出端到端与两步深度学习模型，用于同时从灾前与灾后卫星影像进行建筑物分割和损伤分类，且两步模型（语义分割 + 损伤分类）取得最佳结果，超越 xView2 基线。

ABSTRACT

Satellite imagery has played an increasingly important role in post-disaster building damage assessment. Unfortunately, current methods still rely on manual visual interpretation, which is often time-consuming and can cause very low accuracy. To address the limitations of manual interpretation, there has been a significant increase in efforts to automate the process. We present a solution that performs the two most important tasks in building damage assessment, segmentation and classification, through deep-learning models. We show our results submitted as part of the xView2 Challenge, a competition to design better models for identifying buildings and their damage level after exposure to multiple kinds of natural disasters. Our best model couples a building identification semantic segmentation convolutional neural network (CNN) to a building damage classification CNN, with a combined F1 score of 0.66, surpassing the xView2 challenge baseline F1 score of 0.28. We find that though our model was able to identify buildings with relatively high accuracy, building damage classification across various disaster types is a difficult task due to the visual similarity between different damage levels and different damage distribution between disaster types, highlighting the fact that it may be important to have a probabilistic prior estimate regarding disaster damage in order to obtain accurate predictions.

研究动机与目标

• 通过自动化方法而非人工解释来实现快速的灾后建筑物损伤评估。
• 开发能够处理多种灾害类型（地震、洪水、飓风等）的模型。
• 比较端到端与两步架构在分割与损伤分类方面的性能。
• 在 xBD/xView2 数据集上评估预处理、分割与分类策略。
• 研究灾害类型信息及额外特征如何影响分类性能。

提出的方法

• 评估端到端与两步架构在联合分割和损伤分类方面的性能。
• 对端到端模型使用带有 ResNet-34 编码器的 U-Net，并以灾前/灾后图像差作为输入。
• 开发两步模型：(a) 实例分割/语义分割以提取建筑轮廓，(b) 使用灾前和灾后裁切及各种特征融合方案对每个建筑进行损伤分类。
• 使用 Mask R-CNN 进行实例分割，使用 ResNet-50 + FPN 进行建筑轮廓的语义分割。
• 使用双塔卷积神经网络对灾前与灾后特征进行融合来进行损伤分类；比较简单的灾前/灾后拼接、灾害类型条件化，以及基于 SSIM 的特征。
• 在 xBD/xView2 数据集上进行训练和评估，指标包括 mIoU 和加权 F1，并报告挑战的最终综合 F1。

Figure 1: Pre-disaster (left) and its corresponding post-disaster satellite image

实验结果

研究问题

• RQ1 两步分割+分类流程能否在多灾害损伤评估中超越端到端模型？
• RQ2 将灾害类型信息作为辅助特征纳入是否能提高跨灾类型的损伤分类准确性？
• RQ3 诸如 SSIM 的手工特征是否能在损伤分类中带来可观的提升？
• RQ4 在本研究中，基于语义分割的建筑轮廓提取与实例分割相比有何差异？
• RQ5 跨灾种泛化在损伤等级分类中受多大影响？

主要发现

• 端到端模型在验证集上实现了 0.79584 的分割 F1，但总体 F1 为 0.23875；测试集上端到端设置的分类结果不可用。
• 在建筑轮廓提取上，语义分割优于实例分割（验证集 mIoU: 0.85 对 0.70）。
• 以语义分割+损伤分类为两步的模型显著超越 xView2 基线；最佳为 Semantic Segmentation + Pre & Post Concatenation + Disaster，总体 F1 为 0.6641。
• 基线 xView2 结果（供参考）显示 Segmentation F1 0.80482，Classification F1 0.06091，Overall F1 0.28408。
• 灾害类型条件化提升了分类性能（Pre & Post Concatenation + Disaster 的验证集准确性高于基本拼接）。
• 将 SSIM 作为额外特征加入在相对于基础的灾前/灾后拼接上有所提升，但仍低于带灾害条件的模型。

Figure 2: Distribution of building damage level in training set