[論文レビュー] DAM-Net: Global Flood Detection from SAR Imagery Using Differential Attention Metric-Based Vision Transformers

Tamer Saleh, Xingxing Weng+3 more|arXiv (Cornell University)|Jun 1, 2023

Flood Risk Assessment and Management被引用数 5

ひとこと要約

本稿では、微分 Attention メトリクスとシアンプスバックボーンを活用して、時系列にわたるSentinel-1 SAR画像からグローバルな洪水範囲を検出する、ビジョントランスフォーマーに基づくDAM-Netを提案する。時系列差分融合モジュールを介して多スケールの変化特徴と高レベルのセマンティックトークンを統合することで、新たに提示されたS1GFloodsデータセットにおいて97.8%の全体精度、96.5%のF1スコア、93.2%のIoUを達成し、最先端手法を著しく上回った。

ABSTRACT

The detection of flooded areas using high-resolution synthetic aperture radar (SAR) imagery is a critical task with applications in crisis and disaster management, as well as environmental resource planning. However, the complex nature of SAR images presents a challenge that often leads to an overestimation of the flood extent. To address this issue, we propose a novel differential attention metric-based network (DAM-Net) in this study. The DAM-Net comprises two key components: a weight-sharing Siamese backbone to obtain multi-scale change features of multi-temporal images and tokens containing high-level semantic information of water-body changes, and a temporal differential fusion (TDF) module that integrates semantic tokens and change features to generate flood maps with reduced speckle noise. Specifically, the backbone is split into multiple stages. In each stage, we design three modules, namely, temporal-wise feature extraction (TWFE), cross-temporal change attention (CTCA), and temporal-aware change enhancement (TACE), to effectively extract the change features. In TACE of the last stage, we introduce a class token to record high-level semantic information of water-body changes via the attention mechanism. Another challenge faced by data-driven deep learning algorithms is the limited availability of flood detection datasets. To overcome this, we have created the S1GFloods open-source dataset, a global-scale high-resolution Sentinel-1 SAR image pairs dataset covering 46 global flood events between 2015 and 2022. The experiments on the S1GFloods dataset using the proposed DAM-Net showed top results compared to state-of-the-art methods in terms of overall accuracy, F1-score, and IoU, which reached 97.8%, 96.5%, and 93.2%, respectively. Our dataset and code will be available online at https://github.com/Tamer-Saleh/S1GFlood-Detection.

研究の動機と目的

• スペックルノイズや類似したバックサイタ係数応答のため、複雑なSAR画像において洪水範囲を過剰に推定する問題に対処すること。
• 局所的な畳み込み演算をビジョントランスフォーマーに置き換えることで、洪水検出における長距離の文脈的モデリングを向上させること。
• 大規模かつ多様なSARベースの洪水検出データセットの不足を克服するため、オープンソースのS1GFloodsデータセットを構築すること。
• 変化特徴とセマンティックトークンを効果的に統合する深層学習モデルを開発し、正確でノイズに強い洪水マップ作成を実現すること。
• 多様な洪水事象をカバーするグローバルかつ高解像度のSentinel-1画像ペアを用いて、SARベースの洪水検出のための新基準を確立すること。

提案手法

• ViTAEv2に基づく重み共有のシアンプスバックボーンを用い、事前および事後のSAR画像ペアから多スケールの変化特徴を抽出する。
• バックボーンの各段階には、時系列別特徴抽出（TWFE）、クロス時系列変化アテンション（CTCA）、時系列に配慮した変化強化（TACE）の3つのモジュールが統合される。
• CTCAモジュールは、時間軸をまたがる意味のある変化パターンを特定するために、グローバルな文脈的依存関係をモデル化する。
• TACEモジュールは、特徴変換中の情報損失を軽減するために、空間的および時系列的整合性を保持する。
• 最終的なTACEモジュールにクラストークンを導入し、自己アテンションにより水体の変化に関する高レベルのセマンティック情報を符号化する。
• 時系列差分統合（TDF）モジュールは、セマンティックトークンと変化特徴を統合し、スペックルノイズを低減した洗練された洪水マップを生成する。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーに基づくアーキテクチャは、局所的畳み込みの制限を克服し、SARベースの洪水検出における長距離依存関係を効果的にモデル化できるか？
• RQ2 セマンティックトークンと変化特徴を統合することで、洪水検出の正確性が向上し、誤検出が減少するか？
• RQ3 新規の微分アテンションメカニズムは、SAR画像の変化検出における特徴表現をどの程度向上させられるか？
• RQ4 提案されたDAM-Netモデルは、多様でグローバルスケールのSAR洪水データセットにおいて、最先端手法と比較してどの程度の性能を示すか？
• RQ5 S1GFloodsデータセットは、将来のSARベースの洪水検出モデルの学習および評価のための信頼できるベンチマークとして機能できるか？

主な発見

• DAM-NetはS1GFloodsデータセットにおいて97.8%の全体精度、96.5%のF1スコア、93.2%のIoUを達成し、すべての最先端手法を上回った。
• アブレーションスタディの結果、重複埋め込みレイヤーの導入により、OAが1.3%、F1が2.1%、IoUが1.8%向上した。
• CTCAとTACEモジュールの組み合わせが最も顕著な寄与を示し、ベースラインと比較してIoUが5.5%向上した。
• セマンティックトークンの導入により、一時的な物体（例：船）に起因する誤検出が減少し、IoUが5.4%向上した。
• 全モジュールを統合した場合、OAは98.8%、F1は95.3%、IoUは92.6%を達成し、完全なアーキテクチャの有効性が裏付けられた。
• CNNベースのモデルはS1GFloodsデータセットにおいて劣悪な性能を示し、IoUスコアがDAM-Netより7.8%低かった。これは、このタスクにおいてビジョントランスフォーマーの優位性を示している。