[論文レビュー] Kuro Siwo: 33 billion $m^2$ under the water. A global multi-temporal satellite dataset for rapid flood mapping

Nikolaos Ioannis Bountos, Maria Sdraka+7 more|arXiv (Cornell University)|Nov 18, 2023

Flood Risk Assessment and Management被引用数 4

ひとこと要約

Kuro Siwo は、630億平方メートルの陸上領域をカバーするグローバル分散型でマルチタイムスパンの Synthetic Aperture Radar (SAR) データセットであり、32件の洪水イベントを含み、高品質な手動アノテーションが施されている。洪水または恒久的水体としての領域は1210億平方メートルにのぼる。これは教師ありおよび自己教師ありの深層学習を用いた迅速な洪水マッピングを可能にし、水体検出において最大87％のF1スコアを達成し、BlackBenchベンチマークを通じて強力なベースラインを設定する。

ABSTRACT

Global floods, exacerbated by climate change, pose severe threats to human life, infrastructure, and the environment. Recent catastrophic events in Pakistan and New Zealand underscore the urgent need for precise flood mapping to guide restoration efforts, understand vulnerabilities, and prepare for future occurrences. While Synthetic Aperture Radar (SAR) remote sensing offers day-and-night, all-weather imaging capabilities, its application in deep learning for flood segmentation is limited by the lack of large annotated datasets. To address this, we introduce Kuro Siwo, a manually annotated multi-temporal dataset, spanning 43 flood events globally. Our dataset maps more than 338 billion $m^2$ of land, with 33 billion designated as either flooded areas or permanent water bodies. Kuro Siwo includes a highly processed product optimized for flood mapping based on SAR Ground Range Detected, and a primal SAR Single Look Complex product with minimal preprocessing, designed to promote research on the exploitation of both the phase and amplitude information and to offer maximum flexibility for downstream task preprocessing. To leverage advances in large scale self-supervised pretraining methods for remote sensing data, we augment Kuro Siwo with a large unlabeled set of SAR samples. Finally, we provide an extensive benchmark, namely BlackBench, offering strong baselines for a diverse set of flood events from Europe, America, Africa, Asia and Australia.

研究の動機と目的

• 深層学習における洪水マッピングのための、大規模かつ高品質なアノテーション付きSARデータセットの不足に対処すること。
• SARデータは天候を問わず昼夜を問わず運用可能であるため、多様なグローバルな条件下で迅速かつ正確な洪水マッピングを実現すること。
• 自動洪水検出および対応分野の研究を加速させるために、未観測の地理的場所や多様な環境条件下での洪水セグメンテーションモデルの評価を可能にするベンチマークを提供すること。
• 大規模なラベルなしSARデータセットと洗練されたアノテーションを同時に公開することで、教師ありおよび自己教師あり学習を支援すること。
• モデルが複数の大陸にまたがる未観測の洪水イベントに対して一般化できるようにすることで、災害対応およびリスク評価を向上させること。

提案手法

• 欧州、北米、アフリカ、オーストラリアをカバーする32件の洪水イベントについて、双偏波および標高データを含むグローバルでマルチタイムスパンのSARデータセットを収集・整備する。
• 高解像度SAR画像とCEMSその他のソースからのクロス検証済みの地上真値を用いて、洪水領域および恒久的水体をきめ細かく手動でアノテーションする。
• 事前イベント、発生中、および後イベントのSAR画像を統合することで時間的文脈を付与し、モデルの一般化性能および時間的推論能力を向上させる。
• 未観測の地理的場所および多様な環境条件下での洪水セグメンテーションモデルの評価を統合的に可能にする BlackBench を開発する。
• モデルの頑健性および転移学習性能を向上させるために、大規模なラベルなしSARデータセットを公開することで、自己教師あり事前学習を可能にする。
• FloodViT-Decoder や SNUNet-CD といった最先端のモデルを Kuro Siwo データセット上で訓練・評価し、強力な性能ベースラインを確立する。

実験結果

リサーチクエスチョン

• RQ1 高品質なアノテーションが施された、グローバルに多様なマルチタイムスパンのSARデータセットは、深層学習モデルの迅速な洪水マッピング性能を顕著に向上させるか？
• RQ2 事前・発生中・後イベントの時間的文脈の統合は、モデルの一般化性能およびセグメンテーション精度にどのように影響するか？
• RQ3 大規模なラベルなしSARデータ上で自己教師あり事前学習を実施することで、下流の洪水検出性能はどの程度向上するか？
• RQ4 なぜモデルは動的河川環境において、恒久的水体と洪水領域を区別するのが困難なのであろうか？
• RQ5 Kuro Siwo で学習したモデルは、異なる大陸および環境条件下での未観測の洪水イベントに対して、効果的に一般化できるか？

主な発見

• Kuro Siwo は、洪水領域検出で約85％、一般水体検出で87％のF1スコアを達成しており、高品質なアノテーションとモデル性能を示している。
• Kuro Siwo で学習したモデルは、地理的・気候的要因が異なる未観測のイベントに対しても、洪水領域検出で82％以上のF1スコア、二値水体検出で85％以上のF1スコアを達成している。
• 利用可能なすべての事前イベントSAR画像を統合することで、モデル性能が顕著に向上しており、洪水セグメンテーションにおける時間的文脈の重要性が浮き彫りになっている。
• FloodViT-Decoder は、テストされたモデルの中で最高の平均交差率（IoU）を達成したが、SNUNet-CD も同等の性能を示しており、強力なベースライン能力を示している。
• 特に動的河川系において、恒久的水体の検出に顕著な性能低下が観察された。これは、洪水領域と区別する困難さおよびSAR画像におけるスぺックルノイズの影響によるものである。
• 定性的な分析から、水没した河川島や小さな変動する水体の領域が、ノイズの多いSAR条件下で正確にセグメンテーションされにくいことが明らかになった。これは、現在のモデルが微細な動的水体特徴を解像する能力に限界を抱えている可能性を示唆している。