[論文レビュー] Transformer-based Multi-task Learning for Disaster Tweet Categorisation

Wang Cong-cong, Paul Nulty+1 more|arXiv (Cornell University)|Oct 15, 2021

Public Relations and Crisis Communication参考文献 35被引用数 6

ひとこと要約

本論文は、災害関連ツイートを情報タイプに分類し、その優先度を推定するためのトランスフォーマー基盤のマルチタスク学習フレームワークを提案する。多様なBERTベースのエンコーダーを用いて分類と優先度付与のタスクを同時に学習することで、TREC Incident Streamsベンチマークで最先端の性能を達成し、モデルアンサンブルによって顕著に向上した。

ABSTRACT

Social media has enabled people to circulate information in a timely fashion, thus motivating people to post messages seeking help during crisis situations. These messages can contribute to the situational awareness of emergency responders, who have a need for them to be categorised according to information types (i.e. the type of aid services the messages are requesting). We introduce a transformer-based multi-task learning (MTL) technique for classifying information types and estimating the priority of these messages. We evaluate the effectiveness of our approach with a variety of metrics by submitting runs to the TREC Incident Streams (IS) track: a research initiative specifically designed for disaster tweet classification and prioritisation. The results demonstrate that our approach achieves competitive performance in most metrics as compared to other participating runs. Subsequently, we find that an ensemble approach combining disparate transformer encoders within our approach helps to improve the overall effectiveness to a significant extent, achieving state-of-the-art performance in almost every metric. We make the code publicly available so that our work can be reproduced and used as a baseline for the community for future work in this domain.

研究の動機と目的

• 緊急対応のため、災害関連ツイートを「支援要請」「被害報告」などの異なる情報タイプに分類する課題に対処すること。
• 災害メッセージの緊急性や優先度を推定することで、状況認識を向上させること。
• トランスフォーマーアーキテクチャを用いて、分類と優先度付与の両タスクを同時に最適化するマルチタスク学習フレームワークを開発すること。
• 災害NLP研究の基準とされるTREC Incident Streamsベンチマーク上で、モデルの性能を評価すること。
• 今後の危機インフォーマティクス分野の研究のための、公開可能で再現可能なベースラインを提供すること。

提案手法

• モデルは、共有トランスフォーマー・エンコーダーが入力ツイートを処理し、2つの下流タスク（情報タイプ分類とメッセージ優先度推定）に使用されるマルチタスク学習設定を採用する。
• 分類タスク用のタスク固有ヘッドと、回帰ヘッドによる優先度スコアリングのためのタスク固有ヘッドを備えた、複数の事前学習済みトランスフォーマー・エンコーダー（例：BERT、RoBERTa）を特徴抽出器として使用する。
• 分類タスクのための交差エントロピーと、優先度予測のための平均二乗誤差を組み合わせた統合損失関数を用いて、TREC Incident Streamsデータセット上でエンドツーエンドで微調整する。
• 異なるトランスフォーマー・エンコーダーの予測を組み合わせるアンサンブル戦略を採用し、モデルの頑健性と性能を向上させる。
• F1スコア、精度、再現率、平均平均精度（MAP）などの標準的なNLP指標を用いて、最終モデルを評価する。
• 再現可能性とコミュニティのベンチマーク化を支援するため、コードとモデルを公開する。

実験結果

リサーチクエスチョン

• RQ1 共有トランスフォーマー表現を用いたマルチタスク学習アプローチは、災害ツイートの同時分類と優先度付与を改善できるか？
• RQ2 事前学習済みトランスフォーマー・エンコーダーの選択が、災害ツイート分類および優先度推定の性能に与える影響はいかほどか？
• RQ3 複数のトランスフォーマー・エンコーダーをアンサンブルすることで、このマルチタスク設定におけるモデル効果がどの程度向上するか？
• RQ4 提案手法は、TREC Incident Streamsベンチマークにおいて、既存のシステムと比較して最先端の性能を達成できるか？
• RQ5 本モデルは、今後の危機NLP分野の研究における信頼できる公開ベースラインとして機能できるか？

主な発見

• 提案されたマルチタスク学習フレームワークは、TREC Incident Streamsベンチマークにおいて、ほとんどの評価指標で競争力のある性能を達成した。
• 複数のトランスフォーマー・エンコーダーをアンサンブルすることで、性能が顕著に向上し、F1や平均平均精度を含め、ほぼすべての指標で最先端の結果を達成した。
• 分類と優先度付与タスクの共同学習は、単一タスクのベースラインよりも良好な一般化性能をもたらした。
• マクロ-F1やMAPといった重要な指標において、他の参加システムを上回る性能を示し、モデルの頑健性と有効性を裏付けた。
• コードとモデルの公開により、再現可能性が確保され、災害関連NLP分野における今後の研究の強力なベースラインが確立された。
• 多様な事前学習済みエンコーダーを用いたマルチタスク学習が、危機インフォーマティクス応用において有望なアプローチであることが確認された。