[論文レビュー] Mega-COV: A Billion-Scale Dataset of 100+ Languages for COVID-19

Muhammad Abdul-Mageed, AbdelRahim Elmadany+4 more|arXiv (Cornell University)|May 2, 2020

Misinformation and Its Impacts参考文献 41被引用数 9

ひとこと要約

Mega-COV は、104 語と 268 か国をカバーする 10 亿規模の多言語 Twitter データセットで、2007 年から縦断的履歴を有する 100 万人のユーザーから収集されたものである。パンデミック関連の議論、誤情報、人的行動の包括的分析を可能にし、COVID-19 関連性検出で 97% F1、誤情報検出で 92% F1 を達成する高精度なモデルを2つ開発した。

ABSTRACT

We describe Mega-COV, a billion-scale dataset from Twitter for studying COVID-19. The dataset is diverse (covers 268 countries), longitudinal (goes as back as 2007), multilingual (comes in 100+ languages), and has a significant number of location-tagged tweets (~169M tweets). We release tweet IDs from the dataset. We also develop and release two powerful models, one for identifying whether or not a tweet is related to the pandemic (best F1=97%) and another for detecting misinformation about COVID-19 (best F1=92%). A human annotation study reveals the utility of our models on a subset of Mega-COV. Our data and models can be useful for studying a wide host of phenomena related to the pandemic. Mega-COV and our models are publicly available.

研究の動機と目的

• パンデミック前後をカバーする大規模かつ多言語で位置情報が付与された Twitter データセットを構築し、縦断的分析を可能にする。
• ハッシュタグ依存型データセットの限界を克服するため、ユーザー中心のコンテンツ収集を実施し、より広範なトピックおよび言語的多様性を確保する。
• パンデミック前後における人的行動、情報共有、誤情報の拡散に関する比較研究を可能にする。
• 大規模なスケールでパンデミック関連コンテンツおよび誤情報を同定するための機械学習モデルの開発と検証を行う。
• COVID-19 の社会的影響に関する再現可能で大規模な研究を支援するため、公開可能なツイート ID とモデルを提供する。

提案手法

• ハッシュタグではなく個々のユーザーを標的として Twitter の API を用いてツイートを収集し、より広範な言語的およびトピック的カバレッジを実現した。
• 268 か国にまたがる 100 万人のユーザーからデータを収集し、1 ユーザーあたり最大 3,200 件のツイートを縦断的に追跡することで、パンデミック前後比較が可能になった。
• 複数の言語検出ツールを適用し、100 種類以上の言語を同定した。これにより、Twitter のネイティブ言語コードの 65 語にとどまらない言語的多様性が向上した。
• 微調整されたトランスフォーマー基盤モデルを用いて、COVID-19 関連のツイートを分類するモデルを開発し、保留テストセットで 97% F1 を達成した。
• 言語的特徴と信号ベース特徴を組み合わせた、別個のバイナリ分類器を訓練し、COVID-19 に関する誤情報検出で 92% F1 を達成した。
• 人間によるアノテーション研究を実施し、モデルの性能を検証するとともに、データセットの代表的サブセットにおける実用性を評価した。

実験結果

リサーチクエスチョン

• RQ1 パンデミック初期期における、ユーザー中心の大規模 Twitter データセットの言語的および地理的多様性は、ハッシュタグ中心の収集と比べてどのように異なるか？
• RQ2 パンデミック期に、ユーザーの Twitter 行動は、オリジナル投稿からリツイートやリプライへのシフトが顕著に見られるか？
• RQ3 パンデミック期に、オンラインニュースドメインのうち、情報源として主要な役割を果たしているのはどのサイトか？また、地域ごとにその傾向はどのように異なるか？
• RQ4 データセットのサブセットで学習した機械学習モデルは、大規模にパンデミック関連性および誤情報の同定において高い性能を達成できるか？
• RQ5 縦断的ユーザーデータから、パンデミック期における健康、移動、社会的相互作用などのトピックに関する行動の変化について、どのような知見が得られるか？

主な発見

• Mega-COV には、268 か国にまたがる 100 万人のユーザーから約 15 億件のツイートが含まれており、1.69 億件以上の地理的位置情報が付与されたツイートを含む。これにより、グローバルおよび地域的分析が可能になった。
• データセットは 2007 年から収集されており、パンデミック前のベースラインとユーザー行動の縦断的比較が可能である。
• 言語検出ツールを用いて 100 種類以上の異なる言語が同定され、Twitter のネイティブ言語コードがカバーする 65 語をはるかに超える言語的多様性が実現された。
• 本研究では、ユーザー行動の顕著なシフトが明らかになった。2020 年には、リツイートやリプライがオリジナル投稿を上回るほど多くなっており、コミュニケーションのダイナミクスの変化が示された。
• 国際的ニュースサイトが主要な情報源として浮上し、主要なグローバル報道機関のコンテンツが頻繁に共有された。
• COVID-19 関連性検出モデルは 97% F1 を達成し、誤情報検出モデルは 92% F1 を達成した。人間がアノテートしたサブセットでも高い性能を示した。