[论文解读] Learning from Multimodal and Multitemporal Earth Observation Data for Building Damage Mapping

Bruno Adriano, Naoto Yokoya+5 more|arXiv (Cornell University)|Sep 14, 2020

Remote-Sensing Image Classification参考文献 57被引用 6

一句话总结

本文提出了一种深度学习框架，利用多模态、多时相地球观测数据集（结合灾前和灾后光学与SAR影像），实现建筑物损毁制图。该框架采用注意力U-Net模型对损毁程度进行三级分类（幸存、中等损毁、完全损毁），表明灾前光学影像与灾后SAR影像的跨模态融合性能可与全模态融合相媲美，即使仅能获取SAR数据，也能实现全天候稳健的灾害响应。

ABSTRACT

Earth observation technologies, such as optical imaging and synthetic aperture radar (SAR), provide excellent means to monitor ever-growing urban environments continuously. Notably, in the case of large-scale disasters (e.g., tsunamis and earthquakes), in which a response is highly time-critical, images from both data modalities can complement each other to accurately convey the full damage condition in the disaster's aftermath. However, due to several factors, such as weather and satellite coverage, it is often uncertain which data modality will be the first available for rapid disaster response efforts. Hence, novel methodologies that can utilize all accessible EO datasets are essential for disaster management. In this study, we have developed a global multisensor and multitemporal dataset for building damage mapping. We included building damage characteristics from three disaster types, namely, earthquakes, tsunamis, and typhoons, and considered three building damage categories. The global dataset contains high-resolution optical imagery and high-to-moderate-resolution multiband SAR data acquired before and after each disaster. Using this comprehensive dataset, we analyzed five data modality scenarios for damage mapping: single-mode (optical and SAR datasets), cross-modal (pre-disaster optical and post-disaster SAR datasets), and mode fusion scenarios. We defined a damage mapping framework for the semantic segmentation of damaged buildings based on a deep convolutional neural network algorithm. We compare our approach to another state-of-the-art baseline model for damage mapping. The results indicated that our dataset, together with a deep learning network, enabled acceptable predictions for all the data modality scenarios.

研究动机与目标

• 利用多传感器、多时相的光学与SAR影像，构建全球范围的地震、海啸和台风灾害中建筑物损毁的综合数据集。
• 通过评估不同数据模态场景（单模态、跨模态、融合）来应对灾害响应中的数据可及性挑战。
• 设计并验证一种可泛化于不同数据可及性条件下的基于深度学习的损毁制图框架。
• 在多种数据场景下，将所提框架与最先进的基线模型（xView2冠军模型）进行对比。

提出的方法

• 构建了一个全球范围的多传感器、多时相数据集，包含灾前和灾后高分辨率光学影像以及高至中分辨率多波段SAR数据，覆盖三种灾害类型（地震、海啸、台风）。
• 定义了三种建筑物损毁类别：幸存、中等损毁、完全损毁，并为训练和评估提供了标注的建筑物轮廓。
• 基于注意力U-Net架构开发了一套损毁制图框架，用于建筑物损毁的语义分割。
• 评估了五种数据模态场景：单模态（仅光学或仅SAR）、跨模态（灾前光学 + 灾后SAR）以及融合（两种模态均可用）。
• 在所有场景下使用完整数据集进行模型训练，性能通过F1分数和IoU指标进行评估。
• 引入损失函数以提升分割精度，尤其针对完全损毁类别，并评估了数据分辨率和通道数量（RGB与灰度）的影响。

实验结果

研究问题

• RQ1 基于多模态、多时相地球观测数据集进行训练的深度学习模型，是否能在不同数据可及性场景下实现稳健的建筑物损毁分类？
• RQ2 与全融合或单模态输入相比，灾前光学影像与灾后SAR影像的跨模态输入在损毁分类精度方面表现如何？
• RQ3 灾前光学影像在多大程度上提升了仅使用SAR影像的损毁制图性能？
• RQ4 在现实灾害响应约束条件下，所提框架是否能超越现有最先进模型？

主要发现

• 所提框架在所有五种数据模态场景下均持续优于基线模型，表现出对数据可及性变化的强鲁棒性。
• 跨模态制图（灾前光学 + 灾后SAR）的性能与全融合相当，是快速应急响应的有力候选方案。
• 单模态SAR仅输入表现较差（F1分数约0.42–0.43），尤其在中等损毁和幸存类别上，原因在于分辨率和通道数量有限。
• 在灾后SAR影像基础上引入灾前光学数据，显著提升了中等损毁和幸存类别的分割精度，性能较仅使用SAR模式提升约50%。
• 模型对完全损毁类别的建筑物轮廓尺寸存在高估现象，表明可通过引入Dice系数等额外损失函数进一步优化。
• 结果与SpaceNet Challenge 6的结论一致，验证了SAR数据在识别严重损毁方面的可靠性。