[論文レビュー] Post-Hurricane Damage Assessment Using Satellite Imagery and Geolocation Features

Quoc Dung Cao, Youngjun Choe|arXiv (Cornell University)|Dec 15, 2020

Tropical and Extratropical Cyclones Research被引用数 6

ひとこと要約

本稿では、高分解能の衛星画像と、標高や水体への近接性といった地理的位置特徴を組み合わせることで、ハリケーン後の建物被害評価を向上させる、混合データのディープラーニング手法を提案する。地理的位置特徴を通じて物理的ドメイン知識を統合することで、画像のみを用いたモデルよりも顕著に優れた97.47%の正確性を達成し、被害建物の再現率を向上させるとともに、広範なハイパーパrameterチューニングへの依存を軽減する。

ABSTRACT

Gaining timely and reliable situation awareness after hazard events such as a hurricane is crucial to emergency managers and first responders. One effective way to achieve that goal is through damage assessment. Recently, disaster researchers have been utilizing imagery captured through satellites or drones to quantify the number of flooded/damaged buildings. In this paper, we propose a mixed data approach, which leverages publicly available satellite imagery and geolocation features of the affected area to identify damaged buildings after a hurricane. The method demonstrated significant improvement from performing a similar task using only imagery features, based on a case study of Hurricane Harvey affecting Greater Houston area in 2017. This result opens door to a wide range of possibilities to unify the advancement in computer vision algorithms such as convolutional neural networks and traditional methods in damage assessment, for example, using flood depth or bare-earth topology. In this work, a creative choice of the geolocation features was made to provide extra information to the imagery features, but it is up to the users to decide which other features can be included to model the physical behavior of the events, depending on their domain knowledge and the type of disaster. The dataset curated in this work is made openly available (DOI: 10.17603/ds2-3cca-f398).

研究の動機と目的

• 衛星画像と地理的位置特徴を統合することで、モデルの正確性と一般化能力を向上させ、ハリケーン後の建物被害評価を改善すること。
• 災害リスクのパターンを反映する物理的に意味のある地理的位置特徴を組み込むことで、大規模で高品質なラベル付きデータセットへの依存を低減すること。
• ハリケーン後の画像から損傷なしの建物ラベルを収集することで、より現実的で一般化可能なデータセットを構築し、モデルの展開可能性を向上させること。
• 地理的位置特徴が、とくに被害建物の再現率向上に寄与し、ハイパーパrameterチューニングの必要性を低減することを示すこと。
• 絶対的ではなく相対的な地理空間特徴を用いることで、他の地域や災害タイプへのモデルの移植性を可能にすること。

提案手法

• モデルは、高分解能のRGB衛星画像から特徴を抽出するため、畳み込みニューラルネットワーク（CNN）アーキテクチャを用いる。
• 洪水や風速の影響に関連する物理的リスク要因を反映するように、相対的標高や水体への近接性といった地理的位置特徴を設計する。
• 画像特徴と地理的位置特徴を連結し、全結合ニューラルネットワークに供給して、建物の被害状況を最終分類する。
• 各foldでクラス分布が保持されるように、5分割交差検証戦略を採用して、堅牢な性能評価を実施する。
• データセットは67%を訓練用、33%をテスト用に分割し、標準指標（正確性、F1スコア、適合率、再現率）を用いて性能を評価する。
• 分類には50%の確率閾値を用いるが、運用状況で再現率を優先する場合には調整が可能である。

Figure 1: Workflow of the mixed data neural network model.

実験結果

リサーチクエスチョン

• RQ1 衛星画像に地理的位置特徴を統合することで、ハリケーン後の建物被害評価の正確性と耐性が向上するか？
• RQ2 標高や水体への近接性といった地理的位置特徴は、画像のみを用いた場合と比較して、被害建物の特定にどのように寄与するか？
• RQ3 地理的位置特徴は、特にクラス不均衡の状況下で、被害建物の再現率をどの程度向上させるか？
• RQ4 相対的地理空間特徴を用いることで、再トレーニングを伴わず、他の地域にモデルを一般化できるか？
• RQ5 混合データアプローチは、被害評価モデルにおける広範なハイパーパrameterチューニングの必要性をどの程度低減するか？

主な発見

• 画像と地理的位置特徴を組み合わせた混合データモデルは97.47%の正確性を達成し、画像のみのモデル（79.5%）や地理的位置特徴のみのモデル（88.6%）を顕著に上回った。
• 地理的位置特徴のみのモデルは97%の再現率を達成し、被害建物の検出能力が優れていたが、画像のみのモデルはわずか64%の再現率にとどまった。
• 統合モデルはF1スコアが0.94に達し、適合率と再現率のバランスの取れた性能を示した。適合率は91%、再現率は99%であった。
• 地理的位置特徴は再現率向上に、画像特徴は適合率向上に寄与しており、相補的な強みが浮き彫りになった。
• 5つの交差検証セットにおいてモデルの性能が安定しており、標準偏差が低かった（正確性の例：2.5%）、耐性の高さが示された。
• 相対的地理空間特徴（例：相対的標高）の使用により、特に閾値調整によって、再トレーニングを最小限に抑えながら他の地域への展開が可能になる可能性がある。

(a) ‘Undamaged Building’ using pre-event imagery