[論文レビュー] Did the Roll-Out of Community Notes Reduce Engagement With Misinformation on X/Twitter?

Yuwei Chuai, Haoye Tian+2 more|arXiv (Cornell University)|Jul 16, 2023

Misinformation and Its Impacts参考文献 54被引用数 7

ひとこと要約

本研究は、X/ツイッターのコミュニティノート——コラボラティブ fact-checking 機能——が誤情報の拡散に与える影響を大規模な実証的調査で評価する。2021年以降の fact-check と元のツイートの包括的データセットを用いて、差の差（DiD）および回帰不連続デザイン（RDD）を適用した結果、誤情報のリツイートやいいねの数に有意な減少は認められず、コミュニティノートが初期のウイルス的拡散に影響を及べるほど速くないことが示唆された。

ABSTRACT

Developing interventions that successfully reduce engagement with misinformation on social media is challenging. One intervention that has recently gained great attention is X/Twitter's Community Notes (previously known as "Birdwatch"). Community Notes is a crowdsourced fact-checking approach that allows users to write textual notes to inform others about potentially misleading posts on X/Twitter. Yet, empirical evidence regarding its effectiveness in reducing engagement with misinformation on social media is missing. In this paper, we perform a large-scale empirical study to analyze whether the introduction of the Community Notes feature and its roll-out to users in the U.S. and around the world have reduced engagement with misinformation on X/Twitter in terms of retweet volume and likes. We employ Difference-in-Differences (DiD) models and Regression Discontinuity Design (RDD) to analyze a comprehensive dataset consisting of all fact-checking notes and corresponding source tweets since the launch of Community Notes in early 2021. Although we observe a significant increase in the volume of fact-checks carried out via Community Notes, particularly for tweets from verified users with many followers, we find no evidence that the introduction of Community Notes significantly reduced engagement with misleading tweets on X/Twitter. Rather, our findings suggest that Community Notes might be too slow to effectively reduce engagement with misinformation in the early (and most viral) stage of diffusion. Our work emphasizes the importance of evaluating fact-checking interventions in the field and offers important implications to enhance crowdsourced fact-checking strategies on social media.

研究の動機と目的

• X/ツイッターのコミュニティノートの導入が、誤情報のユーザー参加行動を減少させたかどうかを評価すること。
• 現実のソーシャルメディア環境におけるコラボラティブ fact-checking の有効性を評価すること。
• コミュニティノートが誤情報コンテンツのリツイートやいいねといった参加指標に与える影響を特定すること。
• 誤情報の拡散速度と照らし合わせた、fact-checking 介入の時間的ダイナミクスを検討すること。
• ソーシャルメディアプラットフォームにおけるコンテンツモデレーション戦略の改善に役立つ、証拠に基づく知見を提供すること。

提案手法

• 異なるユーザーグループにおけるコミュニティノート導入前後の参加トレンドを比較するため、差の差（DiD）モデルを用いた。
• ノート公開のタイミングをカットオフとして用い、コミュニティノートの因果的影響を分析する回帰不連続デザイン（RDD）を適用した。
• 2021年早期以降のすべてのコミュニティノートとそれに紐付く元のツイートの包括的データセットを用い、英語コンテンツに焦点を当てた。
• 比較分析のため、F-CRH（誤情報として特定されたツイート）、F-NCRH（役立たずと評価されたもの）、T-NMR（誤情報でない参照ツイート）に分類した。
• F-CRH と F-NCRH グループの比較可能性を高めるために、傾向スコアマッチングを用いてコントロールグループを絞り込んだ。
• 公開済みのAPIデータに依拠し、集計された参加指標（リツイートといいね）を結果変数として分析した。

実験結果

リサーチクエスチョン

• RQ1 X/ツイッターにコミュニティノートが導入されると、誤情報ツイートの参加行動が有意に減少するか？
• RQ2 コミュニティノートの公開タイミングは、誤情報の初期段階における参加行動の減少にどの程度影響を及えるか？
• RQ3 特にフォロワー数が多い公式認証済みユーザーなど、ユーザータイプごとにコミュニティノートの有効性に差があるか？
• RQ4 コミュニティノートによる fact-check は、誤情報でないコンテンツと比較して、ユーザー行動にどの程度の影響を与えるか？
• RQ5 コミュニティノートの反応速度は、誤情報のウイルス的拡散の速度と比較して、ユーザー参加行動にどのように影響を及えるか？

主な発見

• 特にフォロワー数の多い公式ユーザーからのツイートに対して、fact-check の数が著しく増加したにもかかわらず、誤情報コンテンツのリツイートやいいねの数に有意な減少は認められなかった。
• 本研究では、コミュニティノートが誤情報の最もウイルス的な初期段階においても、参加行動を減少させた証拠が得られず、介入の遅れが顕著に示された。
• 誤情報ツイートの公開からコミュニティノートが表示されるまでの平均時間は、ピーク参加行動に影響を及けるには長すぎる。
• 高名なコンテンツに対して fact-check がより頻繁に適用されたが、これによりユーザー参加行動の測定可能な低下には結びつかなかった。
• コミュニティノートの有効性は、誤情報の急速な拡散に抗することができない、遅延した反応速度に制限されていた。
• 利用不可のツイート（fact-check 対象の14％）を除いた結果は、特徴の潜在的影響を低く見積もる可能性を示唆したが、全体の帰無仮説の結果に変化はなかった。