[論文レビュー] Building Damage Detection in Satellite Imagery Using Convolutional Neural Networks

Joseph Z. Xu, Wenhan Lu+3 more|arXiv (Cornell University)|Oct 14, 2019

Remote-Sensing Image Classification参考文献 11被引用数 116

ひとこと要約

この論文は災害後の衛星画像における damaged buildings を検出する4つの CNN アーキテクチャを比較し、Twin-Tower Subtract (TTS) が最適であることを示し、マルチ地域の訓練とファインチューニングによって地域を越えた一般化が向上することを示している。

ABSTRACT

In all types of disasters, from earthquakes to armed conflicts, aid workers need accurate and timely data such as damage to buildings and population displacement to mount an effective response. Remote sensing provides this data at an unprecedented scale, but extracting operationalizable information from satellite images is slow and labor-intensive. In this work, we use machine learning to automate the detection of building damage in satellite imagery. We compare the performance of four different convolutional neural network models in detecting damaged buildings in the 2010 Haiti earthquake. We also quantify how well the models will generalize to future disasters by training and testing models on different disaster events.

研究の動機と目的

• 自動化された、スケーラブルな損害評価を動機づけ、人道支援を迅速化する。
• 建物損傷にラベル付けした災害前後の衛星画像の crops のデータセットを作成する。
• 配置のずれや災害前後の変動への頑健性を特定するため、複数のCNNアーキテクチャを比較する。
• 異なる災害地域・イベント間でのモデルの一般化を評価する。

提案手法

• データ生成パイプラインを用いて、建物を中心とした災害前後の画像 crops のデータセットを作成する。
• UNOSAT の評価に基づき損傷した建物にラベルを付け、建物検出を用いてネガティブを生成する。
• 4つのCNN アーキテクチャ（CC, PO, TTC, TTS）を、災害前後情報の結合方法に基づいて評価する。
• Haiti datasetで5-fold クロスバリデーションを実施し、AUCを主要指標とする。
• クロスリージョン一般化実験のため、最も性能の良いアーキテクチャ（TTS）を選択する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのモデルは災害を跨いで衛星画像から損傷した建物を正確に検出できるか？
• RQ2 入力結合戦略（結合チャネル、単一の災害後画像、twin-tower の concatenation または subtraction）で最高の性能を得られるのはどれか？
• RQ3 一地域の災害で訓練したモデルは他の地域へどの程度一般化するか？
• RQ4 複数地域での訓練データで性能が向上するか、あるいは小規模な地域セットでのファインチューニングで cross-region 性能は改善するか？

主な発見

• Twin-tower subtract (TTS) アーキテクチャは Haiti データセットで検証 AUC 0.8302 を達成。
• Twin-tower モデルは単一タワーモデルより優れており、災害前後情報を抽象的に比較する価値を示している。
• Post-image Only (PO) モデルは Concatenated Channel (CC) モデルを上回り、結合前の特徴抽出がずれや照明差に対する利点を示唆。
• Cross-region 実験は、訓練データに複数地域を含めると AUC が高くなり、また小規模な地域 subset でファインチューニングするとさらに向上。
• 最良の cross-region 結果は、モデルを微調整するために少量の地域ラベリングを用い、その後より広い領域へ適用した場合に得られる。