[论文解读] DAM-Net: Global Flood Detection from SAR Imagery Using Differential Attention Metric-Based Vision Transformers

Tamer Saleh, Xingxing Weng+3 more|arXiv (Cornell University)|Jun 1, 2023

Flood Risk Assessment and Management被引用 5

一句话总结

该论文提出DAM-Net，一种基于视觉Transformer的模型，通过利用差分注意力度量和孪生主干网络，从多时相Sentinel-1 SAR影像中检测全球洪水范围。通过在时间-差分融合模块中整合多尺度变化特征与高层语义标记，DAM-Net在新提出的S1GFloods数据集上实现了97.8%的整体准确率、96.5%的F1分数和93.2%的IoU，显著优于当前最先进方法。

ABSTRACT

The detection of flooded areas using high-resolution synthetic aperture radar (SAR) imagery is a critical task with applications in crisis and disaster management, as well as environmental resource planning. However, the complex nature of SAR images presents a challenge that often leads to an overestimation of the flood extent. To address this issue, we propose a novel differential attention metric-based network (DAM-Net) in this study. The DAM-Net comprises two key components: a weight-sharing Siamese backbone to obtain multi-scale change features of multi-temporal images and tokens containing high-level semantic information of water-body changes, and a temporal differential fusion (TDF) module that integrates semantic tokens and change features to generate flood maps with reduced speckle noise. Specifically, the backbone is split into multiple stages. In each stage, we design three modules, namely, temporal-wise feature extraction (TWFE), cross-temporal change attention (CTCA), and temporal-aware change enhancement (TACE), to effectively extract the change features. In TACE of the last stage, we introduce a class token to record high-level semantic information of water-body changes via the attention mechanism. Another challenge faced by data-driven deep learning algorithms is the limited availability of flood detection datasets. To overcome this, we have created the S1GFloods open-source dataset, a global-scale high-resolution Sentinel-1 SAR image pairs dataset covering 46 global flood events between 2015 and 2022. The experiments on the S1GFloods dataset using the proposed DAM-Net showed top results compared to state-of-the-art methods in terms of overall accuracy, F1-score, and IoU, which reached 97.8%, 96.5%, and 93.2%, respectively. Our dataset and code will be available online at https://github.com/Tamer-Saleh/S1GFlood-Detection.

研究动机与目标

• 为解决由于斑点噪声和相似后向散射响应导致在复杂SAR影像中洪水范围被过度估计的问题。
• 通过用视觉Transformer替代局部卷积操作，改进洪水检测中的长距离上下文建模。
• 通过创建开源的S1GFloods数据集，克服大规模、多样化SAR洪水检测数据集稀缺的问题。
• 开发一种深度学习模型，有效融合变化特征与语义标记，实现准确且抗噪声的洪水制图。
• 利用全球高分辨率Sentinel-1影像对在多样化洪水事件中建立SAR洪水检测的新基准。

提出的方法

• 采用基于ViTAEv2的权重共享孪生主干网络，从灾前与灾后SAR影像对中提取多尺度变化特征。
• 主干网络的每个阶段均包含三个模块：时间维度特征提取（TWFE）、跨时间变化注意力（CTCA）和时间感知变化增强（TACE）。
• CTCA模块通过建模全局上下文依赖关系，识别时间维度上的有意义变化模式。
• TACE模块通过保持空间和时间的一致性，减轻特征变换过程中的信息损失。
• 在最终的TACE模块中引入类别标记，通过自注意力机制编码关于水体变化的高层语义信息。
• 时间-差分融合（TDF）模块将语义标记与变化特征进行融合，生成减少斑点噪声的精细化洪水图。

实验结果

研究问题

• RQ1 基于视觉Transformer的架构能否有效建模SAR洪水检测中的长距离依赖关系，从而克服局部卷积的局限性？
• RQ2 将语义标记与变化特征融合，如何提升洪水检测的准确率并减少误报？
• RQ3 新颖的差分注意力机制在SAR影像变化检测中能在多大程度上增强特征表示？
• RQ4 与当前最先进方法相比，所提出的DAM-Net模型在多样化、全球尺度的SAR洪水数据集上的表现如何？
• RQ5 S1GFloods数据集能否作为未来SAR洪水检测模型训练与评估的可靠基准？

主要发现

• DAM-Net在S1GFloods数据集上实现了97.8%的整体准确率、96.5%的F1分数和93.2%的IoU，优于所有当前最先进方法。
• 消融研究证实，重叠嵌入层使整体准确率提升1.3%，F1分数提升2.1%，IoU提升1.8%。
• CTCA与TACE模块的组合贡献最大，与基线相比IoU提升了5.5%。
• 引入语义标记后，对临时物体（如船只）的误检减少，IoU提升5.4%。
• 当所有组件均启用时，模型实现98.8%的整体准确率、95.3%的F1分数和92.6%的IoU，证明了完整架构的有效性。
• 基于CNN的模型在S1GFloods数据集上表现较差，其IoU得分比DAM-Net低7.8%，凸显了视觉Transformer在此任务中的优越性。