[論文レビュー] Building Disaster Damage Assessment in Satellite Imagery with Multi-Temporal Fusion

Ethan Weber, Hassan Kané|arXiv (Cornell University)|Apr 12, 2020

Remote-Sensing Image Classification参考文献 17被引用数 71

ひとこと要約

本論文は、災害発生前後の衛星画像を用いた多時相融合により、建物を同時に検出しピクセル単位の被害を評価する手法を提案し、共有重みとセマンティックセグメンテーションを用いた単一ネットワークでxView2競技会の最先端結果を達成した。

ABSTRACT

Automatic change detection and disaster damage assessment are currently procedures requiring a huge amount of labor and manual work by satellite imagery analysts. In the occurrences of natural disasters, timely change detection can save lives. In this work, we report findings on problem framing, data processing and training procedures which are specifically helpful for the task of building damage assessment using the newly released xBD dataset. Our insights lead to substantial improvement over the xBD baseline models, and we score among top results on the xView2 challenge leaderboard. We release our code used for the competition.

研究の動機と目的

• 迅速で正確な災害被害評価を促進して緊急対応を支援する。
• 災害前後の多時相情報が建物の位置特定と被害分類にどのように有用かを示す。
• CNNパフォーマンスを向上させるデータ前処理と学習戦略を特定する。
• 単一のネットワークが位置特定と被害評価を共同で行い、ベースラインより改善された結果を示す。

提案手法

• 事前・事後災害画像を共有重みのCNNバックボーンに通して特徴を抽出する。
• 最終セグメンテーションヘッドの前で事前・事後の特徴を融合する。
• セマンティックセグメンテーションヘッドを備えたMask R-CNN/Feature Pyramid Networkのバックボーンを用いてピクセルクラスを予測する。
• ローカリゼーションを向上させるために全体の1024x1024画像ではなく512x512のクロップ（4分割）で訓練する。
• クラス頻度に反比例したクラス重み付けを適用して不均衡（多くの被害なし/建物なしピクセル）を是正する。
• インスタンス分割とセマンティック分割を比較し、事前・事後入力を共有重みで処理したセマンティック分割が最良となることを示す。

実験結果

リサーチクエスチョン

• RQ1 単一のネットワークが多時相衛星画像を用いて建物の位置特定と多クラスの被害評価を共同で行えるか。
• RQ2 多時相入力（事前・事後）による被害セグメンテーションはモノ時相アプローチを上回るか。
• RQ3 xBD/xView2タスクのパフォーマンスを改善する前処理と損失重み付け戦略は何か。

主な発見

• 最適モデルは事前・事後の入力を共有重みで独立して処理し、セグメンテーション前に結合するセマンティックセグメンテーションである。
• 画像全体を用くよりも4つの512x512クロップで訓練することでローカリゼーションと被害指標が向上する。
• クロスエントロピーのクラス重み付けを用いた共同予測が被害と全体のF1スコアを向上させる。
• 最終ローカリゼーションF1: 0.835; 被害F1: 0.697; 全体F1: 0.738（xView2 holdout）
• 提案モデルはxBDベースラインと比較して、測定指標全般でより高いF1スコアを達成している（例: 全体F1 0.738対0.265）。
• xView2リーダーボードでは、アプローチはTrack 3（Evaluation Only）で2位にランクされ、競争力のある結果を示した。