[論文レビュー] Semi-supervised Discovery of Informative Tweets During the Emerging Disasters

Shanshan Zhang, Slobodan Vučetić|arXiv (Cornell University)|Oct 12, 2016

Public Relations and Crisis Communication参考文献 5被引用数 12

ひとこと要約

本稿では、ラベルなしの大規模なツイッター投稿データを用いて語を意味的グループにクラスタリングし、ラベル付きデータが限られる状況下で災害関連ツイッターの分類性能を向上させる半教師あり学習手法を提案する。この手法は、特に100件未塔のラベル付きツイッター投稿がある状況で、従来のbag-of-words分類法を著しく上回り、4億件のラベルなしツイッター投稿と2000個の語クラスタを用いてQF災害で最大81.2%のF1スコアを達成する。

ABSTRACT

The first objective towards the effective use of microblogging services such as Twitter for situational awareness during the emerging disasters is discovery of the disaster-related postings. Given the wide range of possible disasters, using a pre-selected set of disaster-related keywords for the discovery is suboptimal. An alternative that we focus on in this work is to train a classifier using a small set of labeled postings that are becoming available as a disaster is emerging. Our hypothesis is that utilizing large quantities of historical microblogs could improve the quality of classification, as compared to training a classifier only on the labeled data. We propose to use unlabeled microblogs to cluster words into a limited number of clusters and use the word clusters as features for classification. To evaluate the proposed semi-supervised approach, we used Twitter data from 6 different disasters. Our results indicate that when the number of labeled tweets is 100 or less, the proposed approach is superior to the standard classification based on the bag or words feature representation. Our results also reveal that the choice of the unlabeled corpus, the choice of word clustering algorithm, and the choice of hyperparameters can have a significant impact on the classification accuracy.

研究の動機と目的

• 新規災害発生の初期段階で、ラベル付きデータが極めて限られる状況下で、災害関連ツイッターを特定する課題に対処すること。
• ラベルなしの歴史的ツイッター投稿データを活用することで、従来のbag-of-wordsモデルを上回る分類性能を向上させること。
• 大規模なラベルなしコーパスからの語クラスタリングが、リソースが限られた災害分類のための特徴表現をどのように改善するかを調査すること。
• 異なるラベルなしコーパス、クラスタリングアルゴリズム、ハイパーパrameterが分類精度に与える影響を評価すること。

提案手法

• 本手法は、少量のラベル付き災害関連ツイッター投稿を用いて二値分類器を訓練する。
• word2vec (W2V) やTF-IDFベースのクラスタリングを用いて、大規模なラベルなしツイッターコーパスから語クラスタを構築する。
• 各ツイッターは、各次元が語クラスタの存在または頻度に対応する特徴ベクトルに変換され、スパarsityを低減し一般化性能を向上させる。
• ラベル付きデータに対する教師あり学習と、ラベルなしデータに対する教師なし事前学習を組み合わせることで、特徴表現を強化する。
• 語クラスタの数（K）は、災害種別および学習データサイズに応じて調整され、意味的凝集性と特徴密度のバランスを取る。
• 分類にはロジスティック回帰を用い、小規模なラベル付きデータセットにおける過学習を防ぐために正則化を適用する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況で、大規模なラベルなしコーパスから導出された語クラスタを用いることで、標準的なbag-of-words特徴と比較して、災害関連ツイッターの分類精度が向上するか？
• RQ2 ラベルなしコーパスの選択（例：5万件、4億件、または災害特化のツイッター）が、半教師あり手法の性能に与える影響は？
• RQ3 異なる災害種別および学習データサイズに対して、最適な語クラスタ数は何か？
• RQ4 W2VとTF-IDFの両方の語クラスタリング手法を比較した場合、分類性能にどのような差が生じるか？
• RQ5 ハイパーパrameterのチューニング、特にクラスタ数や正則化強度の選択が、モデル性能にどの程度影響を与えるか？

主な発見

• 100件未塔のラベル付きツイッター投稿がある状況で、提案手法は標準的なbag-of-words分類法を著しく上回り、100件のラベル付きデータを用いてQF災害で最大0.812のF1スコアを達成した。
• 4億件のツイッター投稿をラベルなしソースとして用いることで、大多数の災害で最高の精度が得られ、『データが多いほど良い』という原則を裏付けた。
• 最適な語クラスタ数は災害種別および学習データサイズに依存し、小規模な学習データセットでは小さなクラスタ（例：500）が好まれ、大規模なデータセットでは大きなクラスタ（例：2000）が好まれた。
• 5万件のツイッターコーパスは、その正例のみを含むサブセット（50Kp）を上回る性能を示し、ラベルなしデータに否定例を含めることでクラスタリング品質が向上することを示した。
• 地域特化の災害ツイッターは、そのサイズが小さいため、ラベルなしコーパスとしての効果が低く、コーパスの規模と多様性の重要性を浮き彫りにした。
• クラスタリングアルゴリズムやハイパーパrameterの選択が性能に顕著な影響を与えた。特に、word2vecベースのクラスタリングはTF-IDFベースの手法を一般に上回った。