[論文レビュー] Localizing and Quantifying Damage in Social Media Images

Xukun Li, Huaiyu Zhang+2 more|arXiv (Cornell University)|Jun 9, 2018

Public Relations and Crisis Communication被引用数 16

ひとこと要約

本論文は、微調整されたVGG19ネットワークを用いた勾配重み付きクラス活性化マッピング（Grad-CAM）を新規に提案し、ソーシャルメディア上の自然災害画像における被害の局所化と、連続的な被害評価値（DAV）を用いた深刻度の定量的評価を実現する。この手法は解釈可能なヒートマップとスコアを生成し、リモートセンシングデータに代わる低コストで高解像度の被災後被害評価を、一般公開の証言画像を用いて可能にする。

ABSTRACT

Traditional post-disaster assessment of damage heavily relies on expensive GIS data, especially remote sensing image data. In recent years, social media has become a rich source of disaster information that may be useful in assessing damage at a lower cost. Such information includes text (e.g., tweets) or images posted by eyewitnesses of a disaster. Most of the existing research explores the use of text in identifying situational awareness information useful for disaster response teams. The use of social media images to assess disaster damage is limited. In this paper, we propose a novel approach, based on convolutional neural networks and class activation maps, to locate damage in a disaster image and to quantify the degree of the damage. Our proposed approach enables the use of social network images for post-disaster damage assessment and provides an inexpensive and feasible alternative to the more expensive GIS approach.

研究の動機と目的

• ソーシャルメディア上の災害画像における効果的な被害局所化と連続的深刻度評価の欠如に対処する。
• 被害の離散的物体検出やハードラベル分類に依存する従来手法の限界を克服する。
• 高価なリモートセンシングデータではなく、容易に入手可能なソーシャルメディア画像を活用した低コストでリアルタイムの被災後被害評価を可能にする。
• 注目ヒートマップによる視覚的説明を提供することで、自動化された被害評価に対する信頼を向上させる。
• 救援活動の優先順位付けを支援するための連続的被害深刻度指標（DAV）を開発する。

提案手法

• 画像が「被害あり」または「被害なし」と分類される二値分類を目的とした、事前学習済みVGG19畳み込みニューラルネットワーク（CNN）を微調整する。
• 訓練済みCNNの最終畳み込み層に勾配重み付きクラス活性化マッピング（Grad-CAM）を適用し、被害検出マップ（DDM）ヒートマップを生成する。
• DDMヒートマップを用いて、被害予測に最も寄与する画像内の空間的領域を特定し、局所化された視覚的注目を提供する。
• DDMヒートマップ内の値の平均を計算することで被害評価値（DAV）を算出し、連続的深刻度スコアを取得する。
• Nepal地震、Ecuador地震、Ruby台風、Matthewハリケーンの複数の災害データセットを用い、交差検証を実施してモデルを訓練および評価する。
• DAVスコアを実際の被害深刻度と比較し、二値分類および多クラス分類タスクの両方で正解率とF1スコアの指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 高解釈性を備えたソーシャルメディア画像における被害の局所化に、Grad-CAMを効果的に応用できるか？
• RQ2 注目ヒートマップから連続的被害深刻度スコア（DAV）を信頼性を持って導出できるか、離散的カテゴリを超えた被害の定量的評価が可能か？
• RQ3 提案手法のDAVおよびDDMフレームワークは、実世界の災害画像データセットにおいて、従来手法と比較してどの程度の性能を示すか？
• RQ4 解釈可能性技術を併用したソーシャルメディア画像の使用は、従来のGISやリモートセンシングデータに代わる、実用的で低コストな被災後評価の代替手段となり得るか？
• RQ5 異なる災害種別および画像品質状況下でも、DAVスコアはどの程度の頑健性を示すか？

主な発見

• 提案されたDAVスコアは、Nepal地震データセットで平均0.801 ± 0.013、Ecuador地震で0.886 ± 0.018、Ruby台風で0.793 ± 0.017、Matthewハリケーンで0.533 ± 0.043の正解率を達成した。
• VGG19ベースのモデルは、先行研究[28]で報告されたVGG16モデルを上回り、特にNepalおよびEcuadorデータセットにおいて高い正解率と低い分散を示した。
• DAVスコアは実際の被害深刻度と強く相関しており、二値または三段階分類を超えた連続的被害評価が可能であることを示した。
• DDMヒートマップは高い空間的精度で被害領域を正しく局所化し、モデル予測に対する信頼を高める視覚的解釈可能性を提供した。
• Matthewハリケーンのような小規模データセットに対しても、信頼性ある性能を示したが、訓練データが限られているため正解率は低かった。
• Grad-CAMと微調整済みVGG19モデルの統合により、被害の局所化と連続的深刻度スコアの両方を実現し、災害対応に向けた新規で解釈可能かつスケーラブルなソリューションを提供した。