[論文レビュー] Standardizing and Benchmarking Crisis-related Social Media Datasets for Humanitarian Information Processing

Firoj Alam, Hassan Sajjad+2 more|arXiv (Cornell University)|Apr 14, 2020

Public Relations and Crisis Communication被引用数 12

ひとこと要約

本稿では、8つの危機関連のソーシャルメディアデータセットを統一されたベンチマークに標準化し、166.1万件のツイートを情報性分類に、141.5万件を人道的分類に割り当てることで、一貫したモデル評価を可能にした。深層学習モデルとしてCNNおよびBERTを用いたベースライン結果を提示し、統合されたデータセットを公開することで、危機インフォマティクス分野の研究を前進させた。

ABSTRACT

Time-critical analysis of social media streams is important for humanitarian organizations to plan rapid response during disasters. The crisis informatics research community has developed several techniques and systems to process and classify big crisis related data posted on social media. However, due to the dispersed nature of the datasets used in the literature, it is not possible to compare the results and measure the progress made towards better models for crisis informatics. In this work, we attempt to bridge this gap by standardizing various existing crisis-related datasets. We consolidate labels of eight annotated data sources and provide 166.1k and 141.5k tweets for informativeness and humanitarian classification tasks, respectively. The consolidation results in a larger dataset that affords the ability to train more sophisticated models. To that end, we provide baseline results using CNN and BERT models. We make the dataset available at this https URL.

研究の動機と目的

• 危機インフォマティクス分野における比較可能性の欠如を是正するため、断片的かつ分散化したデータセットの影響を軽減すること。
• 8つの既存のアノテート済み危機関連ソーシャルメディアデータセットのラベルを統合し、一貫性のある標準化ベンチマークを構築すること。
• より大規模で統合されたデータセットを通じて、より洗練されたモデルの学習と評価を可能にすること。
• CNNやBERTのような深層学習モデルを用いた再現可能なベースライン結果を提供すること。

提案手法

• 8つの異なる危機関連ソーシャルメディアデータセットからのラベルを統合し、アノテーションスキームの不整合を是正した。
• データセット間のラベルをマッピング・統合し、情報性分類と人道的分類の2つの主なタスクに適した一貫性のあるラベル付けスキーマを構築した。
• 最終的なデータセットとして、情報性分類用に166.1万件のツイート、人道的分類用に141.5万件のツイートを構築した。
• 統合されたデータセット上で畳み込みニューラルネットワーク（CNN）および双方向トランスフォーマー（BERT）アーキテクチャを用いてベースラインモデルを学習・評価した。
• 再現可能性と今後のベンチマーク評価を支援するため、標準化されたデータセットを公開した。

実験結果

リサーチクエスチョン

• RQ1 分散化した危機関連ソーシャルメディアデータセットをどのように標準化すれば、一貫したモデル評価が可能になるか？
• RQ2 CNN や BERT などの深層学習モデルが統合された危機データセット上で、どの程度の性能を示すか？
• RQ3 データセットの統合が、危機インフォマティクス分野におけるモデルの学習と評価に、どの程度の向上効果をもたらすか？
• RQ4 スケールとラベルの一貫性の観点から、統一されたベンチマークは個別のデータセットと比べてどのように差がつくか？

主な発見

• 統合されたデータセットには、情報性分類タスク用に166.1万件のツイート、人道的分類タスク用に141.5万件のツイートが含まれている。
• 今後の研究の基準点として、統合されたデータセット上でCNNおよびBERTモデルを用いたベースライン結果が確立された。
• 標準化されたデータセットにより、異なる危機インフォマティクスタスク間でのモデル性能の直接比較が可能になった。
• データセットの公開により、再現可能性が促進され、人道的情報処理分野の進展が加速した。