[论文解读] Birdwatch: Crowd Wisdom and Bridging Algorithms can Inform Understanding and Reduce the Spread of Misinformation

Stefan Wojcik, Sophie Hilgard+6 more|arXiv (Cornell University)|Oct 27, 2022

Misinformation and Its Impacts被引用 34

一句话总结

本文开发了一种基于矩阵分解的桥接算法，用于选择在多元观点下具有信息性的众包注释；并通过调查和真实部署显示，这些注释能够提高理解并减少在 Twitter 上分享潜在误导性帖子的情况。

ABSTRACT

We present an approach for selecting objectively informative and subjectively helpful annotations to social media posts. We draw on data from on an online environment where contributors annotate misinformation and simultaneously rate the contributions of others. Our algorithm uses a matrix-factorization (MF) based approach to identify annotations that appeal broadly across heterogeneous user groups - sometimes referred to as "bridging-based ranking." We pair these data with a survey experiment in which individuals are randomly assigned to see annotations to posts. We find that annotations selected by the algorithm improve key indicators compared with overall average and crowd-generated baselines. Further, when deployed on Twitter, people who saw annotations selected through this bridging-based approach were significantly less likely to reshare social media posts than those who did not see the annotations.

研究动机与目标

• 促使人们认识到高质量、广泛信息性强的众包注释在打击社交媒体上的错误信息中的必要性。
• 开发基于矩阵分解的桥接算法，以识别在多样化用户观点中具有吸引力的注释。
• 评估算法选择的注释是否提升信息量和感知有用性。
• 评估在真实 Twitter 部署中，带注释的帖子对用户分享行为的影响。

提出的方法

• 从 Birdwatch 数据构建一个稀疏的评价者-注释矩阵，条目 r_un∈{0,1,null}。
• 对矩阵进行因式分解，以学习用户潜在向量 f_u、注释潜在向量 f_n，以及截距 μ、i_u、i_n。
• 使用带强正则化截距的正则化最小二乘目标来学习参数，以强调广泛的吸引力。
• 基于注释截距 i_n 的阈值对注释进行标注：'helpful'(≥0.40)、'not helpful'(≤-0.08)、否则为 'needs more ratings'。
• 实现一个评价者有用性筛选，剔除低质量评价者后重新运行矩阵分解并进行最终标注。
• 使用三轮调查（对注释的随机暴露）来衡量信息性和有用性，并与基线（注释平均值、过半数等）进行比较。

实验结果

研究问题

• RQ1 RQ1：算法选取的 Birdwatch 注释是否能够在不同政治视角下提供更广泛的理解并比多数基线更具普遍帮助？
• RQ2 RQ2：对推文准确性的评估是否可以可靠地作为对推文主张一致性的代理？
• RQ3 RQ3：众包生成的注释是否能够减少潜在误导性信息在 Twitter 上的传播？

主要发现

• 由桥接式矩阵分解算法选出的注释在不同政治观点中被认为是有帮助的。
• 在潜在误导性推文上，算法选取的注释在信息性方面优于总体平均值和众包基线。
• 暴露于算法选取的注释会使用户更不愿意转发或点赞带注释的帖子。
• 基于调查的证据与在暴露于有信息性注释时读者理解的因果评估一致。
• 基于桥接的评分方法可以识别出在广泛信息性方面有贡献的众包注释，并在真实部署中降低分享行为。