[论文解读] An Attention-Based System for Damage Assessment Using Satellite Imagery

Hanxiang Hao, Sriram Baireddy+7 more|arXiv (Cornell University)|Apr 14, 2020

Remote-Sensing Image Classification参考文献 30被引用 8

一句话总结

本文提出 Siam-U-Net-Attn，一种具有自注意力机制的多类别深度学习模型，通过分析灾前与灾后卫星图像对，实现建筑物分割与损伤等级分类的同步精准预测。该模型在 xView2 数据集上达到最先进性能，尤其通过增强的上下文特征学习，在区分轻微与严重损伤等级方面表现卓越。

ABSTRACT

When disaster strikes, accurate situational information and a fast, effective response are critical to save lives. Widely available, high resolution satellite images enable emergency responders to estimate locations, causes, and severity of damage. Quickly and accurately analyzing the extensive amount of satellite imagery available, though, requires an automatic approach. In this paper, we present Siam-U-Net-Attn model - a multi-class deep learning model with an attention mechanism - to assess damage levels of buildings given a pair of satellite images depicting a scene before and after a disaster. We evaluate the proposed method on xView2, a large-scale building damage assessment dataset, and demonstrate that the proposed approach achieves accurate damage scale classification and building segmentation results simultaneously.

研究动机与目标

• 开发一种基于深度学习的自动化系统，利用灾前与灾后卫星影像实现快速且准确的建筑物损伤评估。
• 通过利用注意力机制改善特征表示，解决多类别损伤等级分类中标签数据有限的挑战。
• 同时实现高精度的建筑物分割与细粒度损伤等级分类（无损伤、轻微、中等、严重、完全损毁）。
• 提升在困难损伤类别上的表现，尤其是视觉上相似且难以区分的轻微与严重损伤。
• 证明自注意力机制在捕捉整个卫星影像中长距离上下文依赖关系方面的有效性，从而提升分类性能。

提出的方法

• 该模型采用孪生编码器架构处理灾前与灾后卫星图像对，提取共享特征与判别性特征。
• 采用 U-Net 风格的解码路径，从编码特征重建高分辨率分割掩码，实现像素级分类。
• 在解码器中集成自注意力模块，动态加权不同图像区域对每个预测点的重要性。
• 注意力机制通过查询、键和值矩阵计算上下文感知的特征权重，使模型能够聚焦于相关区域（如洪水区域或碎屑区域）。
• 最终输出为全分辨率分割掩码，其中每个像素被分类为五种损伤等级之一：无损伤、轻微、中等、严重或完全损毁。
• 在推理阶段，对重叠的图像块应用投票策略，以从基于块的预测生成一致且高分辨率的掩码。

实验结果

研究问题

• RQ1 与二值变化检测方法相比，带有自注意力机制的深度学习模型是否能提升卫星影像中多类别损伤等级分类的性能？
• RQ2 注意力机制在多大程度上增强了模型区分视觉上相似损伤等级（如轻微与严重）的能力？
• RQ3 单一模型是否能够同时实现高精度的建筑物分割与细粒度损伤分类？
• RQ4 该方法在具有模糊视觉线索的挑战性损伤类别（如轻微损伤建筑物）上的表现如何？
• RQ5 注意力机制是否提升了整个图像范围内的特征表示，特别是在距离查询点较远的区域？

主要发现

• Siam-U-Net-Attn-conc 模型在 xView2 数据集上所有对比方法中取得最高的 F1 分数，尤其在最具挑战性的损伤等级上表现最优。
• 该模型在轻微损伤建筑物上表现出色，通常因细微视觉变化而被误分类，得益于注意力机制对上下文线索（如部分洪水）的检测能力。
• 注意力图可视化证实，模型正确突出了相关区域（如洪水区域），从而提升了建筑物层面的分类准确率。
• 通过重叠块推理与投票策略，模型生成的全分辨率分割掩码表现出高度一致性，并显著减少了边界伪影，尤其在密集城区区域。
• 该模型在损伤等级分类与建筑物分割两项任务中均达到最先进水平，同时优于现有方法。
• 尽管性能有所提升，该模型仍存在将部分洪水建筑物误分类为严重损伤的缺陷，表明在区分轻微与严重损伤方面仍存在持续挑战。