[論文レビュー] Graph Based Semi-supervised Learning with Convolution Neural Networks to Classify Crisis Related Tweets

Firoj Alam, Shafiq Joty+1 more|arXiv (Cornell University)|May 2, 2018

Public Relations and Crisis Communication被引用数 17

ひとこと要約

本稿では、限られたラベル付きデータと豊富なラベルなしデータを用いて、危機関連ツイートを分類するために、畳み込みニューラルネットワーク（CNN）とk近傍法に基づく類似性グラフを組み合わせたグラフベースの半教師付き深層学習フレームワークを提案する。単語埋め込みから構築されたグラフ上で、ラベル予測と文脈的ノード予測の両方を活用することで、教師ありベースライン比でF-measureが5%から26%向上する。

ABSTRACT

During time-critical situations such as natural disasters, rapid classification of data posted on social networks by affected people is useful for humanitarian organizations to gain situational awareness and to plan response efforts. However, the scarcity of labeled data in the early hours of a crisis hinders machine learning tasks thus delays crisis response. In this work, we propose to use an inductive semi-supervised technique to utilize unlabeled data, which is often abundant at the onset of a crisis event, along with fewer labeled data. Specif- ically, we adopt a graph-based deep learning framework to learn an inductive semi-supervised model. We use two real-world crisis datasets from Twitter to evaluate the proposed approach. Our results show significant improvements using unlabeled data as compared to only using labeled data.

研究の動機と目的

• 危機対応におけるラベル付きデータの不足に応じて、豊富なラベルなしソーシャルメディアデータを活用すること。
• 未知のインスタンスに一般化可能なインダクティブな半教師付き学習モデルを構築すること。
• CNNとグラフベースの類似性構造を組み合わせることで、危機状況におけるツイート分類のパフォーマンスを向上させること。
• varying amounts of labeled data を用いた実世界の危機データセット上で、提案手法の有効性を評価すること。
• グラフベースのインダクティブバイアスを用いた半教師付き学習が、教師ありベースラインをはるかに上回る分類性能を実現することを示すこと。

提案手法

• 単語埋め込みに基づくk近傍法を用いて、類似性グラフを構築し、ツイート間の関係をモデル化する。
• CNNを用いて、単語埋め込みから階層的特徴を抽出し、フィルターサイズ2, 3, 4を適用し、マックスプーリングを実行する。
• 2つの損失関数を用いてモデルを訓練する：1つはクラスラベル予測用、もう1つはグラフ内の文脈的ノード予測用。
• ランダムウォークではなく類似性に基づく近隣選択を用いて、文脈予測損失を定義し、局所構造のモデリングを改善する。
• AdaDeltaアルゴリズムを用いて、分類用に学習率0.1、文脈損失用に0.001として、エンドツーエンドでモデルを最適化する。
• 25エポックの忍耐期間を設け、バリデーションセットのF-measureに基づいて早期停止を適用し、過学習を防ぐためにドロップアウト率を0.02に設定する。

実験結果

リサーチクエスチョン

• RQ1 危機時においてラベル付きデータが非常に少ない状況下で、グラフベースの半教師付き深層学習モデルがツイート分類性能を向上させられるか。
• RQ2 提案手法が、教師ありベースラインを上回る性能を達成するために、ラベルなしツイートをどれほど効果的に活用できるか。
• RQ3 CNNとグラフベースのインダクティブバイアスを組み合わせたアプローチが、危機関連テキスト分類タスクにおいて、標準的な教師ありモデルを上回るか。
• RQ4 半教師付きモデルが初期段階で妥当なパフォーマンスを達成するための最小限のラベル付きデータ要件は何か。
• RQ5 実世界の危機データセットにおいて、ラベル付きデータとラベルなしデータの量が増加するに従って、性能はどのように変化するか。

主な発見

• すべてのラベル付きデータ設定において、半教師付きモデルは教師ありベースライン比でF-measureが5%から26%向上した。
• ネパール地震データセットでは、全ラベル付きデータと50,000件のラベルなしツイートを用いた場合、F-measureは66.63%に達したが、ラベル付きデータのみでは60.89%であった。
• クイーンズランド洪水データセットでは、全ラベル付きデータと約21,000件のラベルなしツイートを用いた場合、F-measureは93.54%に達したが、ラベル付きデータのみでは78.92%であった。
• たとえラベル付きインスタンスが500件のみであっても、クイーンズランドデータセットでは、半教師付きモデルが教師ありモデルを10ポイント以上上回ったF-measureを達成した。
• 最小限のハイパーパrameterチューニングで高いパフォーマンスを維持できたことから、リアルタイムの危機状況において、本モデルは頑健でスケーラブルであると示された。
• 結果から、500件のラベル付きインスタンスに加えてラベルなしデータを組み合わせることが、危機発生直後にモデルを展開するための実用的閾値であると示唆された。