[論文レビュー] Post-hurricane building damage assessment using street-view imagery and structured data: A multi-modal deep learning approach

Zhuoqun Xue, Xiaojian Zhang+4 more|arXiv (Cornell University)|Apr 11, 2024

Remote Sensing and Land UseEarth and Planetary Sciences被引用数 3

ひとこと要約

本論文は、街路画と構造化データ（例：風速、建物の築年数）を統合するマルチモーダル深層学習モデル、Multi-Modal Swin Transformer (MMST) を提案する。画像特徴抽出にはSwin Transformerを、構造化データ処理にはマルチヘッド自己注意機構を活用し、92.67%の正確性を達成。これはVGG-16よりも7.71%高い結果であり、視覚的および文脈的情報を併用した被害評価において優れた性能を示している。

ABSTRACT

Accurately assessing building damage is critical for disaster response and recovery. However, many existing models for detecting building damage have poor prediction accuracy due to their limited capabilities of identifying detailed, comprehensive structural and/or non-structural damage from the street-view image. Additionally, these models mainly rely on the imagery data for damage classification, failing to account for other critical information, such as wind speed, building characteristics, evacuation zones, and distance of the building to the hurricane track. To address these limitations, in this study, we propose a novel multi-modal (i.e., imagery and structured data) approach for post-hurricane building damage classification, named the Multi-Modal Swin Transformer (MMST). We empirically train and evaluate the proposed MMST using data collected from the 2022 Hurricane Ian in Florida, USA. Results show that MMST outperforms all selected state-of-the-art benchmark models and can achieve an accuracy of 92.67%, which are 7.71% improvement in accuracy compared to Visual Geometry Group 16 (VGG-16). In addition to the street-view imagery data, building value, building age, and wind speed are the most important predictors for damage level classification. The proposed MMST can be deployed to assist in rapid damage assessment and guide reconnaissance efforts in future hurricanes.

研究の動機と目的

• ハリケーン後の建物被害評価において、単一モダリティモデルの限界、特に画像に依存するための低精度という問題を解決すること。
• 風速、建物の築年数、ハリケーン経路からの距離といった構造化データを深層学習モデルに統合し、被害予測の精度を向上させること。
• 視覚的および非視覚的情報を効果的に統合するマルチモーダル深層学習フレームワークを構築すること。
• フロリダ州における2022年ハリケーン・アイアンの実世界データを用いて、提案モデルの実用的妥当性と実証的妥当性を検証すること。
• アテンションベースのTransformerが、従来のCNNに比べてグローバルな被害パターンを捉え、顕著な被害領域に注目できることを示すこと。

提案手法

• スウィング・トランスフォーマー（Swin-S）を画像特徴抽出のバックボーンとして採用し、シフトウィンドウ自己注意機構を活用して、街路画像内のマルチスケールおよびグローバルな関係を捉える。
• 構造化データ入力を処理するためにマルチヘッド自己注意機構（MHSA）を採用し、建物の築年数や風速といった異なる特徴に動的重みを割り当てることで、モデルの解釈可能性と性能を向上させる。
• 学習可能な統合モジュールを導入し、画像と構造化データ表現の間の調整可能な統合比を用いて、マルチモーダル入力の最適統合を実現する。
• ハリケーン・アイアン（2022年）の実世界データセット（1,000件以上の建物、街路画像および関連するハリケーン関連属性を含む）を用いてMMSTモデルを訓練および評価する。
• 4段階（例：被害なし、軽微、中程度、深刻）の多クラス被害分類タスクを用い、正確性、MCC、F1スコアといった標準指標を用いてモデル性能を評価する。
• アブレーションスタディを実施し、各モダリティおよびコンポonentの寄与度を評価する。具体的には、構造化データやアテンション機構の影響を検証する。

実験結果

リサーチクエスチョン

• RQ1 街路画と構造化データを統合するマルチモーダル深層学習モデルは、単一モダリティモデルと比較して、ハリケーン後の建物被害分類の正確性を顕著に向上させることができるか？
• RQ2 Swin Transformerバックボーンは、従来のCNN（例：VGG-16、ResNet）と比較して、街路画像からのグローバルおよびローカルな被害パターンをどれほど効果的に捉えられるか？
• RQ3 風速、建物の築年数、建物価値といった異なる構造化データ特徴が、被害予測正確性に与える相対的寄与度はどの程度か？
• RQ4 画像と構造化データ表現間の最適な統合比は何か？これはマルチモーダル被害分類におけるモデル性能を最大化する。
• RQ5 構造化データによるドメイン知識の統合は、実世界の災害シナリオにおけるモデルの頑健性と信頼性をどの程度向上させるか？

主な発見

• MMSTはハリケーン・アイアンデータセットで92.67%の分類正確性を達成し、テストされた最も強力なベースラインモデルであるVGG-16よりも7.71%高い結果を示した。
• 構造化データの導入により、単一モダリティのSwin Transformerと比較して、正確性が1.38%向上、MCCが9.70%向上、F1スコアが1.44%向上した。
• 建物の築年数、風速、建物価値が、被害レベル分類において最も影響力のある構造化データ予測子として特定された。
• 構造化データに向けたマルチヘッド自己注意機構は、異なる特徴の重要性を動的に重み付けすることで、モデルの頑健性を顕著に向上させた。
• 画像と構造化データ表現間の統合比が0.80のとき、モデル性能が最も高くなり、両モダリティ間の最適なバランスが達成された。
• 視覚的アテンションマップは、CNNとは異なり、トランスフォーマー基盤のモデルが、破損した窓や崩壊した壁といった重要な被害領域により正確に注目していることを確認した。