[論文レビュー] EDNA-Covid: A Large-Scale Covid-19 Tweets Dataset Collected with the EDNA Streaming Toolkit

Abhijit Suprem, Calton Pu|arXiv (Cornell University)|Oct 6, 2020

Misinformation and Its Impacts参考文献 15被引用数 4

ひとこと要約

本稿では、2020年1月以降にEDNAストリーミングツールキットを用いて収集された6億件を超えるツイートを含む大規模かつ多言語のTwitterデータセット、EDNA-Covidを紹介する。このデータセットは、進化するパンデミック関連の議論を捉えており、顕著なコンセプトドリフトを示しており、動的データ分布下でのリアルタイムNLP、誤情報検出、ストリーミング分析分野における研究を可能にする。

ABSTRACT

The Covid-19 pandemic has fundamentally altered many facets of our lives. With nationwide lockdowns and stay-at-home advisories, conversations about the pandemic have naturally moved to social networks, e.g. Twitter. This affords an unprecedented insight into the evolution of social discourse in the presence of a long-running destabilizing factor such as a pandemic with the high-volume, high-velocity, high-noise Covid-19 Twitter feed. However, real-time information extraction from such a data stream requires a fault-tolerant streaming infrastructure to perform the non-trivial integration of heterogenous data sources from news organizations, social feeds, and authoritative medical organizations like the CDC. To address this, we present (i) the EDNA streaming toolkit for consuming and processing streaming data, and (ii) EDNA-Covid, a multilingual, large-scale dataset of coronavirus-related tweets collected with EDNA since January 25, 2020. EDNA-Covid includes, at time of this publication, over 600M tweets from around the world in over 10 languages. We release both the EDNA toolkit and the EDNA-Covid dataset to the public so that they can be used to extract valuable insights on this extraordinary social event.

研究の動機と目的

• 現在進行中の新型コロナウイルス感染症パンデミックの最中、高速度かつ高ノイズなソーシャルメディアデータのリアルタイムでフェイルセーフなインジェストおよび処理の課題に対処すること。
• ストリーミングNLP、誤情報検出、社会的ダイナミクス分野における研究を可能にする、大規模かつ多言語的、かつコンセプトドリフトを示すデータセットを提供すること。
• 実世界のストリーミングデータを用いて、機械学習モデルにおけるコンセプトドリフト検出および適応メカニズムの開発とテストを可能にすること。
• EDNAストリーミングツールキットおよびEDNA-Covidデータセットの公開を通じて、再現可能な研究を支援すること。

提案手法

• EDNAは、インジェスト・プロセス・イミットのパイプラインアーキテクチャに基づくストリーミングツールキットであり、フェイルセーフでスケーラブルなリアルタイムデータストリーム処理を可能にする。
• ツールキットは、各々がインジェスト、変換、イミット操作をカプセル化するEDNAジョブのDAGベースの構成を用いており、モジュラーなストリーム処理を実現する。
• EDNA-Covidは、キーワードベースのフィルタリングと並列処理によるメタデータ抽出を用いてTwitterデータをインジェストすることで収集されたもので、Redis経由で誤情報キーワードキャッシュを動的に更新している。
• システムは複数段階のパイプラインを採用している：Twitterからのインジェスト、メタデータ抽出、関連キーワード（例：'covid'、'pandemic'）のフィルタリング、Wikipedia や先行研究から得たキュレート済みキーワードリストを用いた誤情報検出。
• コンセプトドリフトはキーワード頻度の時系列解析を通じて捉えられており、1月の「Wuhan」関連用語から3月の「pandemic」、7月の「mask」へのシフトが、公衆の議論の変化を反映している。
• データはTwitterの利用規約に従い、ツイートIDのみを公開しており、完全なツイートはtwarcなどの外部ツールを用いたハイドレーションが必要である。また、GitHubにサンプルが公開されている。

実験結果

リサーチクエスチョン

• RQ1 フェイルセーフなストリーミングインfraストラクチャは、世界的なパンデミック発生時における高速度・多言語のソーシャルメディアデータを効果的に収集・処理できるか？
• RQ2 Twitter上での新型コロナウイルス関連の議論は、時間経過とともにどの程度コンセプトドリフトを示しており、そのドリフトはリアルタイムデータでどのように定量的に観察できるか？
• RQ3 パンデミック初期の混乱から政策論争や誤情報に至るまでの、Twitter上での公衆の議論における言語的・トピック的シフトの主な特徴は何か？
• RQ4 EDNAのようなストリーミングツールキットは、進化するソーシャルメディアデータに対して、誤情報検出やトピックモデリングを含むリアルタイム分析をどのように支援できるか？
• RQ5 大規模なソーシャルメディアデータ収集のためのスケーラブルかつプロダクション運用可能なストリーミングパイプラインを構築するにあたり、実際の課題と設計上の配慮事項は何か？

主な発見

• EDNA-Covidは、2020年1月25日から2020年9月30日までに収集された6億件を超えるツイートを含み、10か国語以上をカバーしており、そのうち英語が63.4%を占める。
• このデータセットは明確なコンセプトドリフトを示しており、キーワード頻度の変化が1月の「Wuhan」から2月の「Covid-19」、3月の「pandemic」、7月の「mask」へのシフトを示しており、公衆の議論の変化を反映している。
• スペイン語、南アジア諸語（インドネシア語、ジャワ語、マレー語）、フランス語、ポルトガル語が次に多い言語であり、合計でデータセットの12.0%を占める。
• 誤情報検出は、Wikipedia や先行研究から得たキーワードリストを用いて動的に更新されるキャッシュを活用し、インジェスト段階でリアルタイムフィルタリングを実施することで支援された。
• 2020年6月に導入された並列処理によるメタデータ抽出パイプラインのおかげで、ツイートのドロップ率が低下し、収集効率が向上した。
• Twitterの利用規約のため、公開はツイートIDのみであり、登録プロセスを経て提供される。完全なツイートは、twarcなどの外部ツールを用いたハイドレーションが必要である。