[论文解读] Community-Based Fact-Checking on Twitter's Birdwatch Platform

Nicolas Pröllochs|arXiv (Cornell University)|Apr 15, 2021

Misinformation and Its Impacts被引用 6

一句话总结

本研究基于2021年试点阶段的实证数据，分析了Twitter于2021年推出的社区型事实核查平台Birdwatch。研究发现，链接到可信来源并表达积极情绪的笔记被认为更有帮助，但极化现象与观点推测仍是挑战，尤其在具有影响力的用户发布的推文方面。

ABSTRACT

Misinformation undermines the credibility of social media and poses significant threats to modern societies. As a countermeasure, Twitter has recently introduced "Birdwatch," a community-driven approach to address misinformation on Twitter. On Birdwatch, users can identify tweets they believe are misleading, write notes that provide context to the tweet and rate the quality of other users' notes. In this work, we empirically analyze how users interact with this new feature. For this purpose, we collect {all} Birdwatch notes and ratings between the introduction of the feature in early 2021 and end of July 2021. We then map each Birdwatch note to the fact-checked tweet using Twitter's historical API. In addition, we use text mining methods to extract content characteristics from the text explanations in the Birdwatch notes (e.g., sentiment). Our empirical analysis yields the following main findings: (i) users more frequently file Birdwatch notes for misleading than not misleading tweets. These misleading tweets are primarily reported because of factual errors, lack of important context, or because they treat unverified claims as facts. (ii) Birdwatch notes are more helpful to other users if they link to trustworthy sources and if they embed a more positive sentiment. (iii) The social influence of the author of the source tweet is associated with differences in the level of user consensus. For influential users with many followers, Birdwatch notes yield a lower level of consensus among users and community-created fact checks are more likely to be seen as being incorrect and argumentative. Altogether, our findings can help social media platforms to formulate guidelines for users on how to write more helpful fact checks. At the same time, our analysis suggests that community-based fact-checking faces challenges regarding opinion speculation and polarization among the user base.

研究动机与目标

• 了解用户如何与Twitter的Birdwatch互动，该平台是为应对虚假信息而推出的社区驱动型事实核查平台。
• 探究影响用户生成的事实核查笔记 perceived helpfulness 的因素。
• 考察用户影响力和内容特征如何影响社区事实核查的共识度与质量评分。
• 识别改进社交媒体上基于众包的事实核查可扩展性与准确性的设计与指南启示。
• 评估在高曝光内容的社区审核中，极化与观点推测等挑战。

提出的方法

• 使用Twitter的历史API，收集2021年初至2021年7月底的所有Birdwatch笔记与评分数据。
• 利用Twitter API将每条Birdwatch笔记与其对应的推文关联，以分析上下文与真实性。
• 应用文本挖掘技术，从笔记解释中提取内容特征，包括情感倾向、长度及来源链接情况。
• 使用统计建模方法，评估内容特征（如情感、来源质量）与笔记评分之间的关系。
• 根据事实核查结果，将推文分类为误导性或非误导性，并分析笔记特征的差异。
• 考察原始推文作者的社会影响力（如粉丝数）对用户共识度与笔记质量评分的影响。

实验结果

研究问题

• RQ1 用户报告Birdwatch中推文的主要原因是什么？
• RQ2 针对误导性与非误导性推文的Birdwatch笔记在情感、长度及来源使用等内容特征上如何不同？
• RQ3 原始推文作者的社会影响力如何影响共识度与笔记质量的感知？
• RQ4 哪些内容特征使社区创建的事实核查更可能被视为有帮助或无帮助？
• RQ5 观点推测与极化在多大程度上影响了Birdwatch上社区事实核查的可靠性？

主要发现

• 用户更可能针对他们认为具有误导性的推文提交Birdwatch笔记，主要原因包括事实错误、缺乏上下文信息，或将未经核实的主张当作事实处理。
• 包含可信来源链接的笔记被认为更有帮助，表明来源可信度可提升感知可靠性。
• 情感倾向更积极的笔记被认为更有帮助，而负面或煽动性语言则降低其感知帮助性。
• 针对高影响力用户（如政治人物）发布的推文所生成的社区事实核查，共识度较低，且更常被评定为错误或具有争议性，表明存在极化现象。
• 更长、更复杂的笔记（使用了全部字符限制）被认为更有帮助，表明内容的深度与全面性可提升感知质量。
• 尽管存在积极信号，社区事实核查在观点推测与极化方面仍面临挑战——尤其在高曝光账号的内容上——凸显了客观性与共识建立的风险。