[論文レビュー] Clustering of Social Media Messages for Humanitarian Aid Response during Crisis

Swati Padhee, Tanay Kumar Saha+2 more|arXiv (Cornell University)|Jul 23, 2020

Public Relations and Crisis Communication参考文献 30被引用数 4

ひとこと要約

本論文では、特にRoBERTaを用いて、危機時におけるソーシャルメディア投稿を自動的に分類・クラスタリングする手法を提案している。3つの人的支援分類タスク（情報性、ニーズ／供給意図、UNクラスター分類：食料、避難所、健康、WASH）を対象としている。この手法は高い性能を示しており、RoBERTaは情報性分類で89.20%のF1スコアを達成し、意図およびクラスター分類では75%以上のF1スコアを記録した。文脈的埋め込みが従来の手法を著しく上回ることを示しており、スケーラブルで自動化された危機対応システムの支援に役立つことが明らかになった。

ABSTRACT

Social media has quickly grown into an essential tool for people to communicate and express their needs during crisis events. Prior work in analyzing social media data for crisis management has focused primarily on automatically identifying actionable (or, informative) crisis-related messages. In this work, we show that recent advances in Deep Learning and Natural Language Processing outperform prior approaches for the task of classifying informativeness and encourage the field to adopt them for their research or even deployment. We also extend these methods to two sub-tasks of informativeness and find that the Deep Learning methods are effective here as well.

研究の動機と目的

• 現代のディープラーニングモデルを用いて、危機関連のソーシャルメディア投稿の情報性を自動的に特定することを目的とする。
• 二値の情報性分類を越えて、意図（ニーズ／供給）および人的支援の種別（UNクラスター：食料、避難所、健康、WASH）を含めた分類を拡張することを目的とする。
• ドリアンハリケーンで訓練されたモデルの一般化能力を、未観測の危機イベントに適用して評価することを目的とする。
• 今後の研究を支援するため、再現可能なデータセットとアノテーションガイドラインを提供することを目的とする。

提案手法

• 著者らは、危機関連のTwitterデータに対して微調整された事前学習済みRoBERTaモデルを用い、3つの分類タスク（情報性、ニーズ／供給意図、UNクラスター分類）を実行している。
• 複数ラベル分類フレームワークを適用することで、1つのツイートが複数のカテゴリに属する（例：『食料』と『WASH』の両方）ことを可能としている。
• 14,073件の情報的ツイートを、語彙ベースおよび位置情報ベースのフィルタリングを用いてドリアンハリケーン期間中に収集したデータセットを用いて、モデルを微調整している。
• 文脈的表現による性能向上を評価するため、RoBERTaとBERT、TF-IDF、および単語埋め込み（GloVe、Word2Vec）を比較している。
• 一般化性能を検証するため、ドリアンで訓練したモデルをハリケーンハーヴェイ、ハリケーンマリア、スリランカ洪水の公開データセットに適用している。
• 標準的なNLP指標（正解率、F1スコア（マイクロおよびマクロ）、精度／再現率）を用いてモデルの評価を行っている。

実験結果

リサーチクエスチョン

• RQ1 RoBERTaのような事前学習済み言語モデルは、古典的機械学習手法と比較して、危機関連のソーシャルメディア投稿の分類性能を顕著に向上させることができるか？
• RQ2 ディープラーニングモデルは、より細分化された人的支援意図（ニーズ対供給）およびUNクラスター分類（食料、避難所、健康、WASH）を効果的に分類できるか？
• RQ3 ドリアンハリケーンで訓練されたモデルは、他の未観測の危機イベントにどの程度一般化できるか？
• RQ4 危機NLPタスクにおいて、文脈的埋め込み（例：RoBERTa）は非文脈的埋め込み（例：GloVe、Word2Vec）をどの程度上回るか？

主な発見

• RoBERTaは、すべての3つのタスクで最高のパフォーマンスを示し、情報性分類タスクでF1スコア89.20%を達成した。
• ニーズ対供給意図分類において、RoBERTaは『ニーズ』のマイクロF1スコア71.98%、『供給』のマイクロF1スコア75.98%を記録した。
• UNクラスター分類タスクでは、RoBERTaは全4分類（食料、避難所、健康、WASH）で最高の正解率およびマイクロF1スコアを達成し、56.42%のツイートが『食料』、30.1%が『WASH』に分類された。
• モデルは8,370件（59.48%）のツイートを支援要請と予測し、9,296件（66.1%）を供給提供と予測し、3,593件のツイートを両方のラベルに付与した。
• 未観測の危機に適用した結果、スリランカ洪水データセットでは82.12%の正解率を達成したが、ハリケーンハーヴェイとマリアではそれぞれ54.30%および59.85%にとどまり、ゼロショット一般化能力に限界があることが示された。
• 人間のアノテーションが『情報的』とされたツイートであっても、支援の話題を含まないため『非情報的』と正しく識別した例があり、タスク定義の妥当性が裏付けられた。