[論文レビュー] Analysis of Social Media Data using Multimodal Deep Learning for Disaster Response

Ferda Ofli, Firoj Alam+1 more|arXiv (Cornell University)|Apr 14, 2020

Public Relations and Crisis Communication参考文献 31被引用数 69

ひとこと要約

本論文は、Twitterのテキストと添付画像を融合させたマルチモーダル深層学習アーキテクチャを提案し、CrisisMMDの災害対応分類タスクを改善し、単モーダルのベースラインを上回る。

ABSTRACT

Multimedia content in social media platforms provides significant information during disaster events. The types of information shared include reports of injured or deceased people, infrastructure damage, and missing or found people, among others. Although many studies have shown the usefulness of both text and image content for disaster response purposes, the research has been mostly focused on analyzing only the text modality in the past. In this paper, we propose to use both text and image modalities of social media data to learn a joint representation using state-of-the-art deep learning techniques. Specifically, we utilize convolutional neural networks to define a multimodal deep learning architecture with a modality-agnostic shared representation. Extensive experiments on real-world disaster datasets show that the proposed multimodal architecture yields better performance than models trained using a single modality (e.g., either text or image).

研究の動機と目的

• ソーシャルメディアの文本および視覚的手掛かりの両方を活用して、頑健な災害対応分析を動機づける。
• マルチモーダル融合が単モーダルのテキストまたは画像モデルより良い予測を生むかを調査する。
• 情報性と人道的分類の二つのタスクについて、CrisisMMDでベースラインのマルチモーダルおよび単モーダルの結果を提供する。
• マルチモーダル災害データ分析の課題と今後の方向性を探る。

提案手法

• テキスト用CNNベースのテキストモデルと、ImageNetで事前学習済みのVGG16ベースの画像モデルを並列に構築する。
• 複数のフィルターサイズと最大プーリングを持つ5層CNNから高レベルのテキスト特徴を抽出し、密結合層へ。
• VGG16のペンultimate fc2特徴から画像特徴を抽出し、タスク固有のソフトマックスのための最終層を変更。
• 両モダリティから1000次元の隠れ表現を連結して共有表現を作成し、さらに密結合層と予測のためのソフトマックスを適用。
• 三つの設定を訓練する：(i) テキストのみ、(ii) 画像のみ、(iii) マルチモーダル（テキスト+画像）; 固定のテストセットで評価。
• Adamオプティマイザ、早期停止、およびテキストと画像データの標準的前処理を使用。

実験結果

リサーチクエスチョン

• RQ1 共同のマルチモーダル表現は、危機関連ソーシャルメディアの情報性分類を単モーダルアプローチより改善できるか？
• RQ2 マルチモーダルモデルは、テキストのみまたは画像のみのモデルと比較して人道カテゴリ分類を改善できるか？
• RQ3 CrisisMMDデータセットの二つのタスクにおけるマルチモーダル融合の比較的利得はどの程度か？
• RQ4 ソーシャルメディア投稿のテキストと画像データを整列させる際、潜在的に対立する信号がある場合にどのような課題が生じるか？

主な発見

Training mode	Modality	Accuracy	Precision	Recall	F1-score
Unimodal	Text	80.8	81.0	81.0	80.9
Unimodal	Image	83.3	83.1	83.3	83.2
Multimodal	Text+Image	84.4	84.1	84.0	84.2
Unimodal	Text	70.4	70.0	70.0	67.7
Unimodal	Image	76.8	76.4	76.8	76.3
Multimodal	Text+Image	78.4	78.5	78.0	78.3

• マルチモーダルモデルは情報性でF1=84.2を達成し、テキストのみ (80.9) および画像のみ (83.2) を上回る。
• マルチモーダルモデルは人道分類でF1=78.3を達成し、テキストのみ (67.7) および画像のみ (76.3) を上回る。
• 画像のみのモデルは一般にテキストのみを上回るが、マルチモーダル融合は追加の利得をもたらす（情報性で約1%、人道で約2%の改善）画像のみベースラインより。
• CrisisMMDでの訓練は、両タスクのベースラインの単モーダルおよびマルチモーダル結果を単一研究で提供する。
• 著者は、より大規模で最適化されたアーキテクチャとリッチな融合戦略で大きく改善の余地があると指摘している。