[論文レビュー] Rapid Classification of Crisis-Related Data on Social Networks using Convolutional Neural Networks

Dat Tien Nguyen, Kamela Ali Al Mannai+4 more|arXiv (Cornell University)|Aug 12, 2016

Public Relations and Crisis Communication参考文献 27被引用数 40

ひとこと要約

本論文は、手動による特徴工学を不要とし、リソースが限られた状況下でも迅速かつ低リソースで災害関連ツイートを分類するための畳み込みニューラルネットワーク（CNN）ベースのモデルを提案する。本モデルは、イベント固有のラベル付きデータが不足する初期災害対応段階において、イベント外データを効果的に活用することで、非ニューラル手法よりも最大10パーセンテージポイントの向上を達成し、最先端の性能を発揮する。

ABSTRACT

The role of social media, in particular microblogging platforms such as Twitter, as a conduit for actionable and tactical information during disasters is increasingly acknowledged. However, time-critical analysis of big crisis data on social media streams brings challenges to machine learning techniques, especially the ones that use supervised learning. The Scarcity of labeled data, particularly in the early hours of a crisis, delays the machine learning process. The current state-of-the-art classification methods require a significant amount of labeled data specific to a particular event for training plus a lot of feature engineering to achieve best results. In this work, we introduce neural network based classification methods for binary and multi-class tweet classification task. We show that neural network based models do not require any feature engineering and perform better than state-of-the-art methods. In the early hours of a disaster when no labeled data is available, our proposed method makes the best use of the out-of-event data and achieves good results.

研究の動機と目的

• ラベル付きデータが不足または入手不能な災害発生時における、迅速かつ正確な災害関連ソーシャルメディアコンテンツの分類の課題に対処すること。
• 広範な特徴工学を要する従来の教師あり学習手法の限界を克服し、イベント外データに対して性能が著しく低下する問題を解決すること。
• 過去の災害データからのトランスファーラーニングを活用して、異なる災害イベントにわたる一般化性能に優れた深層学習モデルを開発すること。
• Twitterストリームからの行動可能な災害情報の迅速かつ正確な同定を可能にすることで、人道的支援活動の状況認識を向上させること。

提案手法

• 短く非公式なツイートから顕著なn-gram特徴を手動による特徴工学を経ずに自動的に学習できる、マックスプーリングを用いた畳み込みニューラルネットワーク（CNN）を採用する。
• 表現学習と分類性能の向上を図るため、CNNに多層パーセプトロン（MLP）を追加する。
• 過去の災害からのトランスファーラーニングに注目し、イベント内およびイベント外のラベル付きデータの組み合わせを用いてモデルを訓練する。
• 低リソース環境下での意味的意味を捉えるために、分散表現の密な単語埋め込み（例：word2vec や GloVe）をCNNの入力として使用する。
• 災害発生中に新しいラベル付きデータが得られるたびに、段階的にモデルを適応させるオンライン学習戦略を適用する。
• 正則化やインスタンス選択を含むドメイン適応技術を実装し、異なるイベントからのデータを統合する際のモデルの頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 手動による特徴工学を要しない深層学習モデルは、従来の教師あり手法と比較して、災害ツイート分類において優れた性能を発揮できるか？
• RQ2 イベント固有のラベルが入手不可な災害初期段階において、イベント外データのみで学習したCNNベースのモデルはどの程度の効果を示すか？
• RQ3 イベント内およびイベント外の学習データを組み合わせた場合の分類性能への影響は何か？また、モデルの精度が低下するおそれはあるか？
• RQ4 異なる災害イベントにおけるクラス分布や言語的特徴の違いに応じて、モデルの性能はどのように変化するか？

主な発見

• 提案されたCNNモデルは、イベント内データのみを用いて学習した場合、最良の非ニューラルベースラインよりも最大7.5パーセンテージポイントの高い性能を示した（二値分類の文脈で）。
• イベント固有のデータが利用不可な状況下では、CNNモデルがイベント外データのみで学習した場合、非ニューラルモデルよりも最大10パーセンテージポイントの向上を達成した。
• イベント内学習にイベント外データを追加すると、全体の性能がわずかに低下した。これは、災害の後期段階においては、こうしたデータの使用に注意を要することを示唆している。
• マルチクラス分類タスクにおいても一貫した優位性を示し、代表的なクラスではAUCが高く、レアクラスではAUCが低くなる傾向にあり、クラス不均衡の影響が顕著に現れた。
• ネパールの災害では「関連なし」クラスが最も分類が簡単だった（AUC ≈ 50%）が、カリフォルニアでは最も困難だった（AUC < 10%）。これはデータ分布とラベル付けの難易度の違いを反映している。
• 性能は災害イベントによって変動し、カリフォルニアおよびハグピット台風のデータセットはネパールおよびサイクロン・パムのデータセットよりも分類が容易だった。これは、データ分布の違いや意味の曖昧さに起因すると考えられる。