[論文レビュー] Landslide Detection in Real-Time Social Media Image Streams

Ferda Ofli, Muhammad Ali Imran+5 more|arXiv (Cornell University)|Oct 3, 2021

Landslides and related hazards被引用数 4

ひとこと要約

本論文では、11,000枚以上の画像を含む、専門家がアノテートした大規模なデータセットを用いて、ソーシャルメディアの画像から landslides（土砂災害）をリアルタイムで検出するコンピュータビジョンシステムを提案する。最良のモデルはテストセットでF1スコア0.701を達成し、グローバルなハザードマップ作成と緊急対応を支援するスケーラブルで自動化された土砂災害検出を可能にする。

ABSTRACT

Lack of global data inventories obstructs scientific modeling of and response to landslide hazards which are oftentimes deadly and costly. To remedy this limitation, new approaches suggest solutions based on citizen science that requires active participation. However, as a non-traditional data source, social media has been increasingly used in many disaster response and management studies in recent years. Inspired by this trend, we propose to capitalize on social media data to mine landslide-related information automatically with the help of artificial intelligence (AI) techniques. Specifically, we develop a state-of-the-art computer vision model to detect landslides in social media image streams in real time. To that end, we create a large landslide image dataset labeled by experts and conduct extensive model training experiments. The experimental results indicate that the proposed model can be deployed in an online fashion to support global landslide susceptibility maps and emergency response.

研究の動機と目的

• 科学的モデリングと緊急対応を妨げる包括的な土砂災害インventories（インベントリ）の世界的な不足に対処する。
• 手作業によるキュレーションや市民参加に依存する従来のデータ収集手法の限界を克服する。
• 被動的でリアルタイムのソーシャルメディア画像ストリームを、スケーラブルで低コストなデータソースとして活用し、土砂災害検出に貢献する。
• 多様な視覚的条件下でも高い精度で動作する、実用可能なAIモデルを開発する。
• グローバルな土砂災害感受性マップ作成と人道的対応を支援する、リアルタイムの状況認識を可能にする。

提案手法

• Twitter、Google、BGSから得た11,000枚以上のソーシャルメディア画像の、多様で大規模なデータセットを構築。3名の分野専門家による高水準のアノテーションを実施し、アノテータ間の一貫性が高かった。
• データオーグメンテーションとクラスバランス戦略を用いたトランスファー学習により、複数のディープラーニングアーキテクチャ（例：ResNet、DenseNet）を訓練・評価した。
• 学習率、重み減衰、最適化手法（Adam、SGD）などのモデルハイパーパrameterを、広範な実験を通じて最適化した。
• 誤検出や誤検出を診断するため、クラスアクティビティマップ（CAMs）を用いてモデルの注目領域を解釈した。
• Twitter Streaming APIを活用したリアルタイムパイプラインを設計。土砂災害関連キーワードを含むツイートを収集し、画像URLを抽出し、訓練済みモデルで分類した。
• 位置情報推定モジュールとデータ保存モジュールを統合し、検出結果をリアルタイムダッシュボードに可視化し、データベースに保存可能とした。

実験結果

リサーチクエスチョン

• RQ1 多様で専門家がアノテートしたソーシャルメディア画像で訓練されたディープラーニングモデルは、リアルタイムでの土砂災害検出において高い性能を達成できるか？
• RQ2 異なるCNNアーキテクチャ、最適化手法、ハイパーパrameterは、土砂災害画像分類におけるモデル性能にどのように影響するか？
• RQ3 モデルの主な失敗モードは何か。注目可視化は誤分類を診断するのにどのように役立つか？
• RQ4 被動的ソーシャルメディア画像ストリームは、市民参加型報告の代替として、スケーラブルで低コストな土砂災害監視手段としてどれほど有効か？
• RQ5 どのようなシステムアーキテクチャが、グローバルな緊急対応に向けた信頼性のあるリアルタイムでの土砂災害検出モデルのデプロイを可能にするか？

主な発見

• 最良のモデルは、ホールドアウトテストセットでF1スコア0.701を達成し、顕著なF1スコアの低下を伴いながらも、良好な一般化性能を示した。
• バリデーション（F1: 0.805）とテスト（F1: 0.701）の間で顕著な性能差が生じており、主にテストセットでの誤検出（128 vs. 42）と誤検出（178 vs. 60）の増加に起因する。
• クラスアクティビティマップは、真陽性では土砂災害の特徴を的確に局所化しており、真陰性では泥だらけの道路や岩だらけの砂浜など、誤解を招く領域を避けていた。
• 誤検出や誤検出は、主にモデルが関連する画像領域に注目できなかったり、類似したが土砂災害でない画像シーンにだまされたりする場合に発生した。
• 本研究では、ソーシャルメディア画像が土砂災害検出の有効なデータソースであることが示された。モデルは実世界への展開に十分な性能を示した。
• 提案されたパイプラインにより、継続的かつ自動化されたソーシャルメディアの土砂災害関連画像モニタリングが可能となり、リアルタイムの状況認識と緊急意思決定を支援する。