[論文レビュー] Transformer-based Flood Scene Segmentation for Developing Countries

M R Ahan, Roshan Roy+3 more|arXiv (Cornell University)|Oct 9, 2022

Flood Risk Assessment and Management被引用数 5

ひとこと要約

本稿では、空中およびドローン画像における洪水被害地域のセマンティックセグメンテーションのためのハイブリッドCNN-TransformerモデルであるFloodTransformerを提案する。WSOCデータセットにおいて0.93 mIoUを達成し、最先端の性能を発揮した。また、資源が限られた発展途上国における洪水予測および被災後ニーズ評価を向上させるために、水の被覆範囲を定量化する新しい指標であるFlood Capacity（FC）を導入した。

ABSTRACT

Floods are large-scale natural disasters that often induce a massive number of deaths, extensive material damage, and economic turmoil. The effects are more extensive and longer-lasting in high-population and low-resource developing countries. Early Warning Systems (EWS) constantly assess water levels and other factors to forecast floods, to help minimize damage. Post-disaster, disaster response teams undertake a Post Disaster Needs Assessment (PDSA) to assess structural damage and determine optimal strategies to respond to highly affected neighbourhoods. However, even today in developing countries, EWS and PDSA analysis of large volumes of image and video data is largely a manual process undertaken by first responders and volunteers. We propose FloodTransformer, which to the best of our knowledge, is the first visual transformer-based model to detect and segment flooded areas from aerial images at disaster sites. We also propose a custom metric, Flood Capacity (FC) to measure the spatial extent of water coverage and quantify the segmented flooded area for EWS and PDSA analyses. We use the SWOC Flood segmentation dataset and achieve 0.93 mIoU, outperforming all other methods. We further show the robustness of this approach by validating across unseen flood images from other flood data sources.

研究の動機と目的

• リソースが限られた、洪水に高い脆弱性を示す発展途上国における、自動的でスケーラブルな洪水被害評価の重要なニーズに対応する。
• 人的による被災後ニーズ評価（PDSA）および早期警戒システム（EWS）のデータ処理は遅く、誤りが生じやすいという限界を克服する。
• ソーシャルメディア、UAV、監視カメラを含む多様な視覚的データソースに一般化できるディーブラーニングモデルを開発する。
• 洪水の空間的広がりを定量化するための新しい指標、Flood Capacity（FC）を導入し、被災対応および洪水予測の改善を図る。
• ビジョントランスフォーマーベースのアーキテクチャが洪水セグメンテーションにおいて、従来のCNNベースのモデルを上回る精度と一般化性能を示すことを実証する。

提案手法

• グローバルな注目機構と局所的特徴学習を活用するため、ビジョントランスフォーマーエンコーダーとCNNベースのデコーダーを組み合わせたハイブリッドFloodTransformerアーキテクチャを提案する。
• 異種の洪水シーンにおいても長距離の空間的依存関係をモデル化できるように、トランスフォーマーエンコーダーでパッチベースの自己注意機構を用いる。
• ハダマード双線形演算を用いて、CNNで学習した埋め込みとトランスフォーマーで学習した表現を統合し、特徴表現を強化する。
• ピクセル単位のセグメンテーションのために、バイナリクロスエントロピー損失とDice損失を用い、Water Segmentation Open Collection（WSOC）データセット上でモデルをエンドツーエンドで訓練する。
• Flood Capacity（FC）を、セグメンテーションされた水領域のピクセル数を全画像ピクセル数で割った比率として定義する独自の指標として導入し、洪水の広がりの定量化を可能にする。
• 分布外の航空画像に対してゼロショット推論を実施し一般化性能を評価する。必要に応じて、局所的なキャリブレーションのための微調整も可能である。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーベースのモデルは、発展途上国における多様で現実的な画像からなる、実世界の画像において、洪水水のセグメンテーションで最先端の性能を達成できるか？
• RQ2 FloodTransformerは、異なるデータソースや撮影条件の未知の洪水画像にどの程度一般化できるか？
• RQ3 標準的なセグメンテーション指標と比較して、提案されたFlood Capacity（FC）指標は洪水の広がりの定量化をどの程度改善するか？
• RQ4 ハイブリッドCNN-Transformerアーキテクチャは、U-Net や PSPNet といった純粋なCNNベースのモデルを上回る性能を発揮できるか？
• RQ5 低リソースの被災対応環境におけるPDSAおよびEWSの人的分析負担を、このモデルはどの程度軽減できるか？

主な発見

• FloodTransformerはWSOCデータセットで0.93のmIoUを達成し、U-Net、PSPNet、FCN32を含むすべての先行手法を上回った。
• モデルは96%のピクセル精度（PA）を達成し、標準偏差が0.02と非常に低く、セグメンテーション性能の高さと一貫性、強靭性を示した。
• データセット外の航空画像に対しては、FloodTransformerが強い一般化性能を維持し、FC値が0.18および0.26を示した。これは、未知の現実世界の洪水シーンにおいても有効であることを示している。
• モデルの性能は、低解像度のソーシャルメディア画像から高解像度のUAV画像に至るまで、多様な画像ソースで安定している。
• Flood Capacity（FC）の導入により、洪水の広がりの定量的評価が可能となり、空間的な水被覆範囲を測定することで、EWSおよびPDSAの両方を支援した。
• ハイブリッドアーキテクチャにより、CNNのインダクティブバイアスへの依存が軽減され、複雑で多様な洪水シーンにおいて一般化性能と強靭性が向上した。