[論文レビュー] Deep Learning and Word Embeddings for Tweet Classification for Crisis Response

Reem Alrashdi, Simon O’Keefe|arXiv (Cornell University)|Mar 26, 2019

Public Relations and Crisis Communication被引用数 21

ひとこと要約

本稿では、危機対応におけるツイート分類のため、一般用途（例：GloVe）およびドメイン固有の単語埋め込みを用いたディープラーニングモデルの評価を行う。CrisisNLPデータセットを用いて、Bi-LSTMモデルにGloVe埋め込みを適用した場合、F1スコア62.04%の最高値を記録した。これは、一般用途の埋め込みがこの文脈ではドメイン固有の埋め込みを上回ることを示している。

ABSTRACT

Tradition tweet classification models for crisis response focus on convolutional layers and domain-specific word embeddings. In this paper, we study the application of different neural networks with general-purpose and domain-specific word embeddings to investigate their ability to improve the performance of tweet classification models. We evaluate four tweet classification models on CrisisNLP dataset and obtain comparable results which indicates that general-purpose word embedding such as GloVe can be used instead of domain-specific word embedding especially with Bi-LSTM where results reported the highest performance of 62.04% F1 score.

研究の動機と目的

• 一般用途の単語埋め込み（例：GloVe）がドメイン固有の埋め込みと比較して、危機関連ツイート分類においてどの程度有効であるかを評価すること。
• さまざまな埋め込みタイプを用いた異なるディープラーニングアーキテクチャの、危機関連テキストにおける性能を調査すること。
• 危機対応アプリケーションにおいて、ドメイン固有の埋め込みが一般用途の埋め込みに比べて顕著な利点を提供するかどうかを特定すること。
• ツイート分類性能の向上を図るための、ニューラルネットワークアーキテクチャと埋め込みタイプの最適な組み合わせを同定すること。

提案手法

• CNNベースのモデル2つとBi-LSTMベースのモデル2つを、CrisisNLPデータセット上で学習および評価する。
• モデルの入力表現として、一般用途の単語埋め込み（GloVe）とドメイン固有の埋め込みを用いる。
• ラベル付きの危機関連ツイート上でモデルを学習およびテストし、F1スコアを用いて性能を測定する。
• 異なる構成におけるモデル性能の最適化を図るため、ハイパーパrameterチューニングを実施する。
• エンドツーエンド学習のために、確率的勾配降下法と交差エントロピー損失を用いた学習プロセスを実施する。
• 標準的な自然言語処理指標を用いて評価を行い、不均衡な危機関連ツイートデータに対してF1スコアに特に注目する。

実験結果

リサーチクエスチョン

• RQ1 GloVeのような一般用途の単語埋め込みを用いることで、ドメイン固有の埋め込みよりも危機関連ツイートの分類性能が向上するか？
• RQ2 CNNとBi-LSTMのどちらのディープラーニングアーキテクチャが、異なる埋め込みタイプと組み合わせた場合に優れた性能を示すか？
• RQ3 一般用途の埋め込みが、危機対応タスクにおいてドメイン固有の埋め込みと比較して競争力のある性能を達成できるか？
• RQ4 CrisisNLPデータセットにおいて、Bi-LSTMと一般用途の埋め込みを組み合わせた場合に達成可能な最高のF1スコアは何か？

主な発見

• GloVe埋め込みを用いたBi-LSTMモデルが、CrisisNLPデータセットで最高のF1スコア62.04%を記録した。
• 一般用途の単語埋め込み（GloVe）は、ドメイン固有の埋め込みと同等、あるいは一部の状況ではそれ以上に優れた性能を示した。
• GloVeおよびドメイン固有の埋め込みを用いた場合、Bi-LSTMアーキテクチャはCNNベースのモデルを上回った。
• 結果から、この文脈ではドメイン固有の埋め込みが一般用途の埋め込みに比べて一貫した性能優位性を提供するとは限らないことが示された。
• 本研究では、タスク固有の埋め込み学習を必要とせずとも、事前学習済みの一般用途埋め込みを危機関連NLPタスクに効果的に活用できることを示した。