[論文レビュー] A Large-Scale Comparative Study of Accurate COVID-19 Information versus Misinformation

Yida Mu, Ye Jiang+5 more|arXiv (Cornell University)|Apr 10, 2023

Misinformation and Its Impacts被引用数 4

ひとこと要約

本研究では、2億4200万件のCOVID-19関連ツイートを大規模に比較分析し、正確な情報と誤情報の特徴を特定するため、新たに作成された根拠に基づく誤情報分類データセットを用いた。結果として、誤情報は正確なコンテンツより158%速く拡散され、否定的感情や陰謀論的テーマと強く相関しており、特に陰謀論に関連するものは不均衡に削除されているが、発信元に関する誤情報はほとんど対処されていないことが判明した。

ABSTRACT

The COVID-19 pandemic led to an infodemic where an overwhelming amount of COVID-19 related content was being disseminated at high velocity through social media. This made it challenging for citizens to differentiate between accurate and inaccurate information about COVID-19. This motivated us to carry out a comparative study of the characteristics of COVID-19 misinformation versus those of accurate COVID-19 information through a large-scale computational analysis of over 242 million tweets. The study makes comparisons alongside four key aspects: 1) the distribution of topics, 2) the live status of tweets, 3) language analysis and 4) the spreading power over time. An added contribution of this study is the creation of a COVID-19 misinformation classification dataset. Finally, we demonstrate that this new dataset helps improve misinformation classification by more than 9\% based on average F1 measure.

研究の動機と目的

• ソーシャルメディア上の正確な情報と誤情報の統計的・言語的差異を理解すること。
• パンデミック期における誤情報の課題に対処し、トピック分布、言語使用、拡散ダイナミクスの明確なパターンを同定すること。
• COVID-19誤情報を分類するための高品質な新規データセットの開発と検証を行い、検出モデルの改善を図ること。

提案手法

• 本研究では、信頼できる情報源とキーワードのリストを活用して、Twitter APIを介して2億4200万件を超えるCOVID-19関連ツイートを収集した。
• 手動によるアノテーションと後処理を加えた新規データセットを用いて、革新的で根拠に基づいた誤情報分類器を訓練した。
• トピックモデリングとキーワードベースのフィルタリングを用い、陰謀論や公的機関への批判といったテーマクラスタに誤情報を同定・分類した。
• 言語的分析にはBag-of-WordsとLIWC（Linguistic Inquiry and Word Count）を用い、誤情報と正確なコンテンツの間で感情のトーン、語彙頻度、意味的カテゴリーを比較した。
• 拡散力は、リツイートやエンゲージメントの動態を時間経過で追跡することで測定され、持続時間とピーク速度を含めた。
• 新しい分類器の性能は、leave-claim-out交差検証を用いて評価され、従来の最先端モデルに比べてF1スコアが顕著に向上した。

実験結果

リサーチクエスチョン

• RQ1 正確な情報と誤情報の間で、トピックと言語にどのような差異があるか？
• RQ2 ソーシャルメディアプラットフォームはどのようなタイプの誤情報を対処しており、その対処の度合いは誤情報の実際の拡散と比べてどうか？
• RQ3 さまざまなタイプの誤情報の拡散力は時間経過でどのように変化するか？正確な情報と比べてどうか？

主な発見

• 誤情報は正確な情報より158%速く拡散され、特に陰謀論に関連する内容は、投稿後32時間以上にわたり活動を続ける長期間の拡散持続を示した。
• 陰謀論に関連する誤情報は、全誤情報の約1/3を占め、プラットフォームのモデレーションの主な標的となっており、40%を超えるツイートが削除された。
• ウイルスの発生源に関するツイートは、最もプラットフォームの対応が少なかった。投稿後も約70%が依然として利用可能であった。
• LIWCを用いた言語的分析により、誤情報は「怒り」「否定的感情」「死」といったカテゴリーと強く関連している一方、正確な情報は「肯定的感情」「真正性」「社会的」用語と関連していることが判明した。
• Bag-of-Words分析により、『#nwoevilplans』『#chinaliedandpeopledied』『#plandemic』といったキーワードが誤情報を強く示唆することが判明した。
• 新たに作成されたデータセットにより、誤情報分類の性能が平均F1スコアで9%以上向上し、F1スコアは0.70に達した。これはベースラインの0.51に比べて顕著な改善である。

Figure 1: (a) : Screenshot of an IFCN debunk post. The post includes 1) fact checking organisation, 2) misinformation claim, 3) explanation of why the claim is false and 4) the link to full debunk article. (b) : Partial screenshot of full debunk article of the IFCN debunk post.