[论文解读] Informed Crowds Can Effectively Identify Misinformation.

Paul Resnick, Aljohara Alfayez+2 more|arXiv (Cornell University)|Aug 17, 2021

Misinformation and Its Impacts参考文献 8被引用 12

一句话总结

本研究证明，经过训练的众包工作者——尤其是当他们被提示单独或协作研究文章时——在识别错误信息方面可超越单个记者。单独研究条件降低了党派偏见，而16人及以上的众包工作者小组在准确度上甚至超过了专家记者，其准确度以与保留的记者评分的一致性衡量。

ABSTRACT

Can crowd workers be trusted to judge whether news-like articles circulating on the Internet are wildly misleading, or does partisanship and inexperience get in the way? We assembled pools of both liberal and conservative crowd raters and tested three ways of asking them to make judgments about 374 articles. In a no research condition, they were just asked to view the article and then render a judgment. In an individual research condition, they were also asked to search for corroborating evidence and provide a link to the best evidence they found. In a collective research condition, they were not asked to search, but instead to look at links collected from workers in the individual research condition. The individual research condition reduced the partisanship of judgments. Moreover, the judgments of a panel of sixteen or more crowd workers were better than that of a panel of three expert journalists, as measured by alignment with a held out journalist's ratings. Without research, the crowd judgments were better than those of a single journalist, but not as good as the average of two journalists.

研究动机与目标

• 评估众包工作者是否能在存在潜在党派偏见和经验不足的情况下，可靠地识别误导性新闻文章。
• 调查引导众包工作者研究文章是否能提高判断准确度并减少党派偏见。
• 比较众包工作者小组与单个记者及记者小组在识别错误信息方面的表现。
• 确定众包参与的最佳规模与方法，以实现有效的错误信息检测。

提出的方法

• 组建了政治立场平衡的自由派与保守派众包评分员群体，以确保政治代表性。
• 实施三种条件：(1) 无研究——仅凭直接判断；(2) 单独研究——工作者自行搜索并引用佐证证据；(3) 集体研究——工作者查阅在单独研究条件下他人收集的链接。
• 使用374篇类新闻文章测试各条件下的判断表现。
• 通过将众包判断与保留的记者评分进行比较，衡量准确度。
• 通过分析不同政治立场下判断的一致性，评估党派偏见。
• 将小组规模（如3人、16人以上）作为变量，评估聚合带来的益处。

实验结果

研究问题

• RQ1 提示众包工作者研究文章是否能减少其判断中的党派偏见？
• RQ2 众包工作者小组能否在识别错误信息方面超越单个记者？
• RQ3 众包工作者小组的表现与专家记者小组相比如何？
• RQ4 与单独研究或无研究相比，集体研究（查阅他人证据）是否能提高判断准确度？
• RQ5 众包错误信息检测的最佳小组规模是多少？

主要发现

• 与无研究条件相比，单独研究条件显著降低了众包判断中的党派偏见。
• 16人及以上的众包工作者小组的判断与保留的记者评分一致性，高于由三名专家记者组成的小组。
• 在无研究条件下，众包判断优于单个记者，但准确度不及两名记者的平均水平。
• 集体研究条件并未优于单独研究条件，表明个体主动寻找证据比群体整理他人发现更有效。
• 规模足够大的众包小组（16人及以上）准确度高于专家记者，表明其在可扩展的错误信息检测中具有强大潜力。
• 本研究证明，当受到引导进行研究时，知情的众包群体可作为错误信息检测中专家判断的可行替代方案。