[論文レビュー] Community-Based Fact-Checking on Twitter's Birdwatch Platform

Nicolas Pröllochs|arXiv (Cornell University)|Apr 15, 2021

Misinformation and Its Impacts被引用数 6

ひとこと要約

本研究は、2021年に導入された、Twitterのコミュニティベースの事実確認プラットフォーム「Birdwatch」を、そのパイロットフェーズの実証データを用いて分析している。信頼できる情報源へのリンクを含み、肯定的な感情を示すノートは、より役立つと認識されるが、極化や意見の推測という課題は依然として残っており、特に影響力のあるユーザーのツイートに関して顕著である。

ABSTRACT

Misinformation undermines the credibility of social media and poses significant threats to modern societies. As a countermeasure, Twitter has recently introduced "Birdwatch," a community-driven approach to address misinformation on Twitter. On Birdwatch, users can identify tweets they believe are misleading, write notes that provide context to the tweet and rate the quality of other users' notes. In this work, we empirically analyze how users interact with this new feature. For this purpose, we collect {all} Birdwatch notes and ratings between the introduction of the feature in early 2021 and end of July 2021. We then map each Birdwatch note to the fact-checked tweet using Twitter's historical API. In addition, we use text mining methods to extract content characteristics from the text explanations in the Birdwatch notes (e.g., sentiment). Our empirical analysis yields the following main findings: (i) users more frequently file Birdwatch notes for misleading than not misleading tweets. These misleading tweets are primarily reported because of factual errors, lack of important context, or because they treat unverified claims as facts. (ii) Birdwatch notes are more helpful to other users if they link to trustworthy sources and if they embed a more positive sentiment. (iii) The social influence of the author of the source tweet is associated with differences in the level of user consensus. For influential users with many followers, Birdwatch notes yield a lower level of consensus among users and community-created fact checks are more likely to be seen as being incorrect and argumentative. Altogether, our findings can help social media platforms to formulate guidelines for users on how to write more helpful fact checks. At the same time, our analysis suggests that community-based fact-checking faces challenges regarding opinion speculation and polarization among the user base.

研究の動機と目的

• TwitterのBirdwatch、誤情報防止を目的としたコミュニティ主導の事実確認プラットフォームにおけるユーザーの行動を理解すること。
• Birdwatchにおけるユーザー生成の事実確認ノートの有用性に影響を与える要因を調査すること。
• ユーザーの影響力とコンテンツの特徴が、コミュニティによる事実確認の合意形成と品質評価に与える影響を検討すること。
• ソーシャルメディアにおけるクラウドベースの事実確認のスケーラビリティと正確性を向上させるための設計およびガイドラインのインサイトを同定すること。
• 特に高可視度コンテンツのコミュニティモデレーションにおいて、極化や意見の推測といった課題を評価すること。

提案手法

• Twitterの歴史的APIを用いて、2021年初期から2021年7月終了までに収集されたBirdwatchの全ノートと評価データを収集した。
• TwitterのAPIを活用して、各Birdwatchノートを対応するツイートにマッピングし、文脈と真偽の両面を分析した。
• テキストマイニング技術を用いて、ノートの説明から感情、長さ、情報源へのリンクといったコンテンツ特徴を抽出した。
• 統計的モデリングを用いて、コンテンツ特徴（例：感情、情報源の質）とノート評価の関係を評価した。
• 事実確認の結果に基づき、ツイートを「誤解を招く」か「そうでない」かに分類し、ノートの特徴における差を分析した。
• 元のツイートの発信者の社会的影響力（例：フォロワー数）が、ユーザーの合意形成とノート品質評価に与える影響を検証した。

実験結果

リサーチクエスチョン

• RQ1 ユーザーがBirdwatchでツイートを報告する主な理由は何ですか？
• RQ2 誤解を招くツイートとそうでないツイートに対するBirdwatchノートは、感情、長さ、情報源の使用といったコンテンツ特徴でどのように異なるでしょうか？
• RQ3 元のツイート発信者の社会的影響力は、合意形成とノート品質評価にどのように影響するでしょうか？
• RQ4 どのようなコンテンツ特徴が、コミュニティが作成した事実確認ノートがより役立つと感じられたり、役立たないと感じられたりする要因となるでしょうか？
• RQ5 意見の推測や極化は、Birdwatchにおけるコミュニティベースの事実確認の信頼性にどの程度影響を及えるでしょうか？

主な発見

• ユーザーは、事実の誤り、文脈の欠如、未検証の主張を事実として扱っていると感じると、誤解を招くとみなすツイートに対して、Birdwatchのノートを提出する傾向が顕著である。
• 信頼できる情報源へのリンクを含むノートは、より役立つと評価される傾向にあり、情報源の信頼性が認識される信頼性を高めていることが示唆される。
• 肯定的な感情を示すノートは、より役立つと感じられ、否定的または誘発的な言語は、役立たずと感じられる可能性を高める。
• 特に影響力のあるユーザー（例：政治家）のツイートに対するコミュニティによる事実確認ノートは、合意形成が低く、誤りまたは議論的であると多く評価されており、極化の兆候が示されている。
• 文字数制限の上限に近い長さで、より複雑なノートは、より役立つと感じられ、深さと包括性が、認識される品質を向上させている可能性がある。
• 肯定的な信号が存在する一方で、コミュニティベースの事実確認には、意見の推測や極化の課題が残っており、特に著名なアカウントのコンテンツに関して顕著である。これは、客観性と合意形成のリスクを示している。