[論文レビュー] CrisisBERT: a Robust Transformer for Crisis Classification and Contextual Crisis Embedding

Junhua Liu, Trisha Singhal+3 more|ArXiv.org|May 11, 2020

Public Relations and Crisis Communication参考文献 36被引用数 23

ひとこと要約

CrisisBERT は、トランスフォーマーに基づくモデルであり、ソーシャルメディアのテキストにおける危機検出および認識を向上させ、両タスクで最先端のパフォーマンスを達成している。6 つの危機クラスから 36 つの危機クラスにスケーリングする際、訓練データをたった 51.4% 増加させるだけで、高い正確性と F1 スコアを維持する強力なロバストネスを示している。

ABSTRACT

Classification of crisis events, such as natural disasters, terrorist attacks and pandemics, is a crucial task to create early signals and inform relevant parties for spontaneous actions to reduce overall damage. Despite crisis such as natural disasters can be predicted by professional institutions, certain events are first signaled by civilians, such as the recent COVID-19 pandemics. Social media platforms such as Twitter often exposes firsthand signals on such crises through high volume information exchange over half a billion tweets posted daily. Prior works proposed various crisis embeddings and classification using conventional Machine Learning and Neural Network models. However, none of the works perform crisis embedding and classification using state of the art attention-based deep neural networks models, such as Transformers and document-level contextual embeddings. This work proposes CrisisBERT, an end-to-end transformer-based model for two crisis classification tasks, namely crisis detection and crisis recognition, which shows promising results across accuracy and f1 scores. The proposed model also demonstrates superior robustness over benchmark, as it shows marginal performance compromise while extending from 6 to 36 events with only 51.4% additional data points. We also proposed Crisis2Vec, an attention-based, document-level contextual embedding architecture for crisis embedding, which achieve better performance than conventional crisis embedding methods such as Word2Vec and GloVe. To the best of our knowledge, our works are first to propose using transformer-based crisis classification and document-level contextual crisis embedding in the literature.

研究の動機と目的

• ソーシャルメディアからの危機関連コンテンツを分類するためのディーブラーニングモデルを開発し、既存の手法を上回ること。
• 限られたラベル付きデータと、多様な危機タイプにわたるモデルの汎化性の課題に対処すること。
• 危機関連テキストの文レベルの注意に基づく文脈的埋め込み手法を導入すること。
• 最小限の追加データで、少数の危機クラスから多数の危機クラスへのスケーリングにおいて、ロバストネスを評価すること。

提案手法

• ツイートデータにおけるエンドツーエンドの危機分類を目的とした、微調整された BERT をベースとするトランスフォーマー・モデルである CrisisBERT を提案する。
• 長距離依存関係と危機テキスト内の文脈的意味を捉えるために、マルチヘッド自己注意機構と位置エンコーディングを採用する。
• 危機関連ツイート上で学習された、文レベルの文脈的埋め込みモデルである Crisis2Vec を導入する。
• CrisisBERT を、危機検出（二値分類）と危機認識（多値分類）を含む、複数の危機分類ベンチマークで訓練する。
• 事前学習済み重みを用いたトランスファー・ラーニングを行い、危機固有のデータセットで微調整することで、下流タスクのパフォーマンスを向上させる。
• 注意メカニズムを適用して、危機関連言語の意味的・構文的ニュアンスを捉えた文脈的埋め込みを生成する。

実験結果

リサーチクエスチョン

• RQ1 CrisisBERT というトランスフォーマー基盤モデルは、従来の機械学習およびニューラルネットワーク手法よりも、危機分類タスクで優れた性能を発揮できるか？
• RQ2 特に追加の訓練データが限られている状況でも、危機タイプの数が増加する中で、CrisisBERT の汎化性能はどの程度ロバストか？
• RQ3 文レベルの文脈的埋め込みモデルである Crisis2Vec は、Word2Vec や GloVe といった静的単語埋め込みよりも分類性能を向上させられるか？
• RQ4 他のモデルは 6 つの危機クラスから 36 つの危機クラスにスケーリングする際、どの程度のパフォーマンス低下を示すか？CrisisBERT はその点でどのように比較されるか？
• RQ5 Crisis2Vec から得られる文脈的埋め込みを用いることで、ロジスティック回帰や LSTM といった下流分類モデルの性能は一貫して向上するか？

主な発見

• CrisisBERT は最先端のパフォーマンスを達成し、危機認識および検出タスクにおいて、従来手法より F1 スコアが最大 25.0% 向上し、正確性が最大 8.2% 向上している。
• 6 つの危機クラスから 36 つの危機クラスにスケーリングする際、CrisisBERT は F1 スコアでわずか 1.6% の低下、正確性で 0.7% の低下に抑え、ベンチマークと比較して優れたロバストネスを示している。
• Crisis2Vec は、Word2Vec や GloVe といった従来の単語埋め込みを上回り、ロジスティック回帰および LSTM モデルの両方で分類性能を向上させている。
• 他のモデルは 6 つの危機クラスから 36 つの危機クラスにスケーリングする際、F1 スコアで 6.0% から 67.2% のパフォーマンス低下を示しており、CrisisBERT の安定性が顕著に際立っている。
• CrisisBERT は最小限のデータ増加で強力なパフォーマンスを維持しており、6 つの危機クラスから 36 つの危機クラスにスケーリングするには、たった 51.4% の追加データで十分であり、パフォーマンス低下はほとんどない。
• 著者らの知る限り、本研究は、トランスフォーマー基盤モデルおよび文レベルの文脈的埋め込みを、危機分類および埋め込みタスクに初めて適用した研究である。