[論文レビュー] DeepDamageNet: A two-step deep-learning model for multi-disaster building damage segmentation and classification using satellite imagery

Irene Alisjahbana, Jiawei Li+3 more|arXiv (Cornell University)|May 8, 2024

Remote Sensing and Land Use被引用数 9

ひとこと要約

本論文は、事前災害と事後災害の衛星画像から同時に建物のセグメンテーションと損傷分類を行うエンドツーエンドおよび二段階の深層学習モデルを提案する。二段階モデル（セマンティックセグメンテーション＋損傷分類）が最良の結果を示し、xView2のベースラインを上回る。

ABSTRACT

Satellite imagery has played an increasingly important role in post-disaster building damage assessment. Unfortunately, current methods still rely on manual visual interpretation, which is often time-consuming and can cause very low accuracy. To address the limitations of manual interpretation, there has been a significant increase in efforts to automate the process. We present a solution that performs the two most important tasks in building damage assessment, segmentation and classification, through deep-learning models. We show our results submitted as part of the xView2 Challenge, a competition to design better models for identifying buildings and their damage level after exposure to multiple kinds of natural disasters. Our best model couples a building identification semantic segmentation convolutional neural network (CNN) to a building damage classification CNN, with a combined F1 score of 0.66, surpassing the xView2 challenge baseline F1 score of 0.28. We find that though our model was able to identify buildings with relatively high accuracy, building damage classification across various disaster types is a difficult task due to the visual similarity between different damage levels and different damage distribution between disaster types, highlighting the fact that it may be important to have a probabilistic prior estimate regarding disaster damage in order to obtain accurate predictions.

研究の動機と目的

• 迅速な災後の建物損傷評価を manual interpretation の代わりに自動化手法で実現する。
• 地震、洪水、ハリケーンなど、複数の災害タイプを扱えるモデルを開発する。
• segmentation と損傷分類のエンドツーエンド対二段階アーキテクチャを比較する。
• xBD/xView2 データセットに対する前処理、セグメンテーション、分類戦略を評価する。
• 災害タイプ情報や追加特徴が分類性能に与える影響を調査する。

提案手法

• 共同のセグメンテーションと損傷分類のためのエンドツーエンドと二段階アーキテクチャを評価する。
• pre/post-disaster の差分画像を入力として U-Net を ResNet-34 エンコーダで用い、エンドツーエンドモデルを構築する。
• 二段階モデルを開発する： (a) 事例/セマンティックセグメンテーションで建物の輪郭を抽出、(b) 事前・事後のクロップと様々な特徴融合方式を用いた建物ごとの損傷分類。
• 建物の輪郭抽出には Mask R-CNN のインスタンスセグメンテーション、セマンティックセグメンテーションには ResNet-50 + FPN を用いる。
• 損傷分類には pre と post の特徴を統合する twin-tower CNN を用い、単純な pre/post 連結、災害タイプ条件付け、SSIM ベースの特徴を比較する。
• xBD/xView2 データセット上で mIoU や weighted F1 などの指標で訓練・評価し、チャレンジの最終的な結合F1を報告する。

Figure 1: Pre-disaster (left) and its corresponding post-disaster satellite image

実験結果

リサーチクエスチョン

• RQ1 二段階のセグメンテーション＋分類パイプラインは、マルチ災害損傷評価においてエンドツーエンドモデルを上回ることができるか？
• RQ2 災害タイプ情報を補助特徴として組み込むと、災害タイプ間で損傷分類の精度が改善されるか？
• RQ3 SSIM のような手作業で設計した特徴は損傷分類に有意な改善をもたらすか？
• RQ4 この文脈で意味セグメンテーションベースの footprint 抽出とインスタンスセグメンテーションを比較するとどうか？
• RQ5 災害間の一般化は損傷レベル分類にどの程度影響するか？

主な発見

Method	Segmentation F1 Score	Classification F1 Score	Overall F1 Score
xView2 Baseline	0.80482	0.06091	0.28408
End-to-end Model	0.79584	N/A	0.23875
Semantic Segmentation + Pre & Post Concatenation	0.84330	0.51	0.61
Semantic Segmentation + Pre & Post Concatenation + Disaster	0.84330	0.5873	0.6641
Semantic Segmentation + Pre & Post Concatenation + SSIM	0.84330	0.54679	0.63574

• エンドツーエンドモデルは検証でセグメンテーションF1が 0.79584 だが全体F1は 0.23875 で、テストセットの分類結果はエンドツーエンド構成では利用不可であった。
• セマンティックセグメンテーションは建物の輪郭抽出でインスタンスセグメンテーションより優れていた（検証時 mIoU: 0.85 vs 0.70）。
• セマンティックセグメンテーション＋損傷分類の二段階モデルは xView2 のベースラインを大幅に上回り、最良は Semantic Segmentation + Pre & Post Concatenation + Disaster で全体 F1 が 0.6641。
• Baseline xView2 の結果（参考）: Segmentation F1 0.80482, Classification F1 0.06091, Overall F1 0.28408。
• 災害タイプ conditioning は分類性能を改善し（Pre & Post Concatenation + Disaster が基本連結より検証精度が高い）、
• SSIM を追加特徴として加えると基本的な pre/post 連結より性能が向上したが、災害条件付きモデルには及ばなかった。

Figure 2: Distribution of building damage level in training set