[論文レビュー] CMU-MisCov19: A Novel Twitter Dataset for Characterizing COVID-19 Misinformation

Shahan Ali Memon, Kathleen M. Carley|arXiv (Cornell University)|Sep 19, 2020

Misinformation and Its Impacts被引用数 6

ひとこと要約

本論文は、COVID-19に関する誤情報拡散を研究するため、手動でアノテートされた大規模なTwitterデータセットであるCMU-MisCov19を紹介する。本研究では、誤情報の拡散を促進するユーザーと、それらを是正するユーザーの2つの競合するオンラインコミュニティを対象とする。ネットワーク解析、社会言語的モデリング、ボット検出を用いた分析により、誤情報コミュニティはより密接で組織的であり、ボットの割合も高いことが明らかになった。これは、意図的な誤情報キャンペーンを示唆している。一方、情報に基づくユーザーは、事実を直接否定するのではなく、物語的フレーミングを用いて誤情報を是正している。

ABSTRACT

From conspiracy theories to fake cures and fake treatments, COVID-19 has become a hot-bed for the spread of misinformation online. It is more important than ever to identify methods to debunk and correct false information online. Detection and characterization of misinformation requires an availability of annotated datasets. Most of the published COVID-19 Twitter datasets are generic, lack annotations or labels, employ automated annotations using transfer learning or semi-supervised methods, or are not specifically designed for misinformation. Annotated datasets are either only focused on "fake news", are small in size, or have less diversity in terms of classes. Here, we present a novel Twitter misinformation dataset called <strong>"CMU-MisCov19"</strong> with 4573 annotated tweets over 17 themes around the COVID-19 discourse. We also present our annotation codebook for the different COVID-19 themes on Twitter, along with their descriptions and examples, for the community to use for collecting further annotations. Further details related to the dataset, and our analysis based on this dataset can be found at https://arxiv.org/abs/2008.00791. In adherence to the Twitter’s terms and conditions, we do not provide the full tweet JSONs but provide a ".csv" file with the tweet IDs so that the tweets can be rehydrated. We also provide the annotations, and the date of creation for each tweet for the reproduction of the results of our analyses. <strong>Note: If for any reason, you are not able to rehydrate all the tweets, reach out to Shahan Ali Memon at ([e-mail]).</strong> If you use this data, please cite our paper as follows: <em>"Shahan Ali Memon and Kathleen M. Carley. Characterizing COVID-19 Misinformation Communities Using a Novel Twitter Dataset, In Proceedings of The 5th International Workshop on Mining Actionable Insights from Social Networks (MAISoN 2020), co-located with CIKM, virtual event due to COVID-19, 2020."</em>

研究の動機と目的

• COVID-19誤情報に焦点を当てた多様で手動でアノテートされたTwitterデータセットを収集・公開し、研究者による公開利用を目的とする。
• パンデミック期における誤情報コミュニティと情報提供コミュニティの構造的・言語的・行動的差異を特定すること。
• 特に反ワクチンネットワーク内での誤情報拡散において、ボットとコミュニティ参加が果たす役割を調査すること。
• 直接的反論よりも物語ベースのコミュニケーションが、誤情報を是正する上でより効果的であるかどうかを評価すること。

提案手法

• 2020年3月29日、6月15日、6月24日（非連続な3日間）にわたり、誤情報テーマに関連する用語をキーワードとして使用したAPIを用いてTwitterデータを収集した。
• 誤情報タイプ、立場、言語的特徴などを含む包括的なコードブックを用いて、ツイートを複数のアノテーションレイヤーでアノテートした。
• リツイート、メンション、返信に基づいてユーザー単位のネットワークを構築し、コミュニティ構造と中心性指標を分析した。
• 信頼度閾値が0.75以上の事前学習済みボット検出モデル（Bot-Hunter）を適用して、自動化されたアカウントを同定した。
• 自然言語処理技術を用いて社会言語的分析を実施し、両コミュニティ間での感情的トーンと物語使用の差を比較した。
• 反ワクチンやその他の健康関連の誤情報ネットワークを含む、複数の誤情報サブコミュニティにおけるユーザーの参加状況をマッピングした。

実験結果

リサーチクエスチョン

• RQ1 誤情報コミュニティと情報提供コミュニティのネットワーク構造は、密度と中心性の観点でどのように異なるか？
• RQ2 特に物語の使用と感情的トーンという点で、情報提供ユーザーと誤情報ユーザーの間にはどのような言語的パターンの違いが見られるか？
• RQ3 ボットは誤情報コミュニティにどの程度存在しており、その存在は意図的な誤情報キャンペーンを示唆するか？
• RQ4 誤情報ユーザーは、反ワクチンコミュニティに特に多く参加しているか？
• RQ5 物語ベースのコミュニケーションは、直接的反論よりも誤情報を是正する上でより効果的であるか？

主な発見

• 誤情報コミュニティは、情報提供コミュニティよりも顕著に高いネットワーク密度を示しており、より密接で結束した組織的構造であることが判明した。
• 誤情報コミュニティにおけるボットの割合は顕著に高く（p < 0.05）、組織的誤情報キャンペーンの兆候であることが示された。
• 誤情報ユーザーの大多数が反ワクチンコミュニティに参加しており、反ワクチンネットワークと広範な誤情報ネットワークとの間には強い重複があることが明らかになった。
• 情報提供ユーザーは、誤情報ユーザーが宣言的または陰謀的主張に依存するのに対し、物語的構造を著しく多く使用している。
• 両コミュニティとも否定的トーンを示しているが、情報提供ユーザーが物語を使用していることは戦略的コミュニケーション戦略を示唆している。
• 本研究の結果は、一般的な是正メッセージが普遍的に効果的であるという仮定に疑問を呈しており、個別にカスタマイズされた物語ベースの介入策の必要性を示唆している。