[論文レビュー] Efficacy of BERT embeddings on predicting disaster from Twitter data

Ashis Kumar Chanda|arXiv (Cornell University)|Aug 8, 2021

Topic Modeling参考文献 33被引用数 6

ひとこと要約

本研究では、従来の機械学習およびディープラーニングモデルを用いて、災害関連ツイートの分類にBERT埋め込み表現を評価する。文脈を考慮したBERT埋め込み表現は、文脈に依存しない埋め込み表現（GloVe、FastText、Skip-gram）をはるかに上回り、Bi-LSTMを用いた場合に最高のAUC（0.8578）と正解率（83.08%）を達成した。これは、短く曖昧なソーシャルメディアテキストにおける災害予測において、文脈のニュアンスを理解する能力に優れていることを示している。

ABSTRACT

Social media like Twitter provide a common platform to share and communicate personal experiences with other people. People often post their life experiences, local news, and events on social media to inform others. Many rescue agencies monitor this type of data regularly to identify disasters and reduce the risk of lives. However, it is impossible for humans to manually check the mass amount of data and identify disasters in real-time. For this purpose, many research works have been proposed to present words in machine-understandable representations and apply machine learning methods on the word representations to identify the sentiment of a text. The previous research methods provide a single representation or embedding of a word from a given document. However, the recent advanced contextual embedding method (BERT) constructs different vectors for the same word in different contexts. BERT embeddings have been successfully used in different natural language processing (NLP) tasks, yet there is no concrete analysis of how these representations are helpful in disaster-type tweet analysis. In this research work, we explore the efficacy of BERT embeddings on predicting disaster from Twitter data and compare these to traditional context-free word embedding methods (GloVe, Skip-gram, and FastText). We use both traditional machine learning methods and deep learning methods for this purpose. We provide both quantitative and qualitative results for this study. The results show that the BERT embeddings have the best results in disaster prediction task than the traditional word embeddings. Our codes are made freely accessible to the research community.

研究の動機と目的

• 短く曖昧なソーシャルメディアテキストからの災害関連ツイート分類における課題を分析すること。
• 災害予測において、文脈に依存する埋め込み表現（BERT）と文脈に依存しない埋め込み表現（GloVe、FastText、Skip-gram）の有効性を比較すること。
• 本研究では、異なる単語表現を用いた従来の機械学習モデルとディープラーニングモデルの両方を評価すること。
• 災害関連自然言語処理分野における再現可能性と今後の研究を支援するための公開コードベースを提供すること。

提案手法

• 研究では、テキスト分類の入力表現として、事前学習済みのBERT、GloVe、FastText、およびSkip-gram埋め込み表現を用いる。
• 分類タスクとして、ツイートが災害関連かどうかを判別するため、浅いモデル（ロジスティック回帰、決定木、ランダムフォレスト）と深いモデル（Bi-LSTM、ソフトマックス）を適用する。
• モデルの性能は、訓練データおよびテストデータの両方で標準的なNLP指標（AUC、F1スコア、正解率）を用いて評価する。
• 定性的分析として、特定のツイート例について、GloVe（文脈に依存しない）とBERT（文脈に依存する）埋め込み表現を用いたBi-LSTMモデルの予測を比較する。
• 研究ではKaggleの災害ツイートデータセットを活用し、エンドツーエンドのトレーニングおよび推論パイプラインを実装する。
• すべてのコードはGitHubに公開され、再現可能性とコミュニティのアクセスを確保する。

実験結果

リサーチクエスチョン

• RQ1 短いソーシャルメディアテキストにおいて、BERTのような文脈に依存する単語埋め込み表現は、文脈に依存しない埋め込み表現よりも災害予測の正解率を向上させることができるか？
• RQ2 異なる埋め込みタイプを用いた場合、従来の機械学習モデルとディープラーニングモデル（例：Bi-LSTM）の性能はどのように比較されるか？
• RQ3 文脈に依存する埋め込み表現は、静的埋め込み表現と比べて、災害関連ツイートの意味的意味をどのようによりよく捉えているか？
• RQ4 災害関連キーワードを含む曖昧なツイートにおいて、文脈に依存しない埋め込み表現と文脈に依存する埋め込み表現の間で、モデルの予測はどのように異なるか？

主な発見

• BERT埋め込み表現は、Bi-LSTMモデルと組み合わせた場合、最高のテスト正解率（83.08%）とAUC（0.8578）を達成し、他のすべての埋め込みおよびモデルの組み合わせを上回った。
• BERT+Bi-LSTMモデルは、最高性能を示した文脈に依存しないモデル（GloVe+Bi-LSTM）と比較して、AUCで2%、正解率で2%向上させた。
• 文脈に依存しない埋め込み表現（例：GloVe）は、文脈を考慮しない場合に『事故』や『火事』といった言葉を含む非災害ツイートを正しく分類できなかったが、BERTはこれらを非災害として正しく識別した。
• BERTは、深刻ではあるが災害ではないツイート（例：『火事で燃える建物に消防士が突入』）を正例として正しく分類し、文脈理解の能力を示した。
• 明確な災害キーワード（例：『自爆テロ』『爆破』）を含むツイートは、GloVeとBERTの両方で正しく分類されたが、BERTは曖昧なケースにおける一般化能力に優れていた。
• Bi-LSTMのようなディープラーニングモデルは、すべての埋め込みタイプにおいて、ロジスティック回帰やランダムフォレストのような浅いモデルを一貫して上回った。