[论文解读] Characterizing and Predicting Social Correction on Twitter

Yingchen Ma, Bing He+2 more|arXiv (Cornell University)|Mar 15, 2023

Misinformation and Its Impacts被引用 16

一句话总结

本文在Twitter上构建了一个关于COVID-19疫苗错误信息及其反错误信息回复的大型数据集，分析与社会纠正相关的语言、参与度与发帖者因素，并开发预测模型以预测是否以及在多大程度上会发生反击。

ABSTRACT

Online misinformation has been a serious threat to public health and society. Social media users are known to reply to misinformation posts with counter-misinformation messages, which have been shown to be effective in curbing the spread of misinformation. This is called social correction. However, the characteristics of tweets that attract social correction versus those that do not remain unknown. To close the gap, we focus on answering the following two research questions: (1) ``Given a tweet, will it be countered by other users?'', and (2) ``If yes, what will be the magnitude of countering it?''. This exploration will help develop mechanisms to guide users' misinformation correction efforts and to measure disparity across users who get corrected. In this work, we first create a novel dataset with 690,047 pairs of misinformation tweets and counter-misinformation replies. Then, stratified analysis of tweet linguistic and engagement features as well as tweet posters' user attributes are conducted to illustrate the factors that are significant in determining whether a tweet will get countered. Finally, predictive classifiers are created to predict the likelihood of a misinformation tweet to get countered and the degree to which that tweet will be countered. The code and data is accessible on https://github.com/claws-lab/social-correction-twitter.

研究动机与目标

• 理解哪些错误信息推文会吸引社交纠正以及原因。
• 创建一个关于COVID-19疫苗的错误信息推文及其对错信息回复的大型配对数据集。
• 对语言、参与度和发帖者属性进行分层分析，以识别与反击相关的因素。
• 开发预测分类器以预测一条推文是否会被反击以及反击的程度。
• 提供关于不同用户属性在社会纠正中的潜在不平等的见解。

提出的方法

• 整理一个大规模的错误信息推文和反对错误信息回复的数据集（错误信息：1,523,849 条推文；反击回复：690,047 条）。
• 对反击回复的一个子集进行人工注释，以训练基于Roberta-base（小写化）的反击回复分类器。
• 训练一个错误信息推文分类器（BERT），以在大型 COVID-19疫苗推文语料中识别错误信息。
• 通过将推文按回应数分层分组，构建分层分析以比较每个层中高度反击与低度反击的差异。
• 对语言、参与度和发帖者属性（LIWC、VADER、礼貌/不礼貌、参与度比、关注者/认证等指标以及错误信息前的活跃度）进行统计与特征分析。
• 构建两个预测模型以（RQ1）预测错误信息推文是否会被反击，以及（RQ2）使用选定特征预测反击的程度（低/高）。

实验结果

研究问题

• RQ1 RQ1：给定一条错误信息推文，其他用户会对其进行反击吗？
• RQ2 RQ2：若被反击，反击的强度会是怎样（低或高）？

主要发现

• 已创建包含1,523,849条错误信息推文和690,047条反误信息回复的全新数据集，并对反击回复子集进行了人工注释。
• 在按回应数分层中，高度反击的推文表现出更强的情感内容，包括更高的情感性、负面情绪和愤怒，相比于低度反击的推文。
• 高度反击的推文表现出更强的不礼貌性，且涉及健康相关术语的程度较低，表明话题和修辞因素会影响纠正。
• 参与度分析显示高度反击的推文每条回复获得的引述、转发和点赞数量较少，表明反击可能抑制更广泛的传播。
• 发帖者属性显示经过认证的发帖者更可能出现高度反击的帖子，但大多数非认证用户的属性差异并不显著。
• 通过对前错误信息帖子（pre-misinformation posts）进行ARI估算的用户教育水平与反击可能性呈负相关，表明教育水平较低的账户更容易被反击。