[论文解读] Can The Crowd Identify Misinformation Objectively? The Effects of Judgment Scale and Assessor's Background

Kevin Roitero, Michael Soprano+4 more|arXiv (Cornell University)|May 14, 2020

Misinformation and Its Impacts参考文献 43被引用 12

一句话总结

本研究调查了非专家众包工作者是否能通过多种判断尺度可靠地评估政治言论的真实性。尽管标注者间的一致性较低，但跨尺度聚合后的众包标签与专家事实核查评估结果表现出强烈相关性，且评估者的隐性政治倾向显著影响判断准确性，尤其是在边境墙等具有争议性的问题上。

ABSTRACT

Truthfulness judgments are a fundamental step in the process of fighting misinformation, as they are crucial to train and evaluate classifiers that automatically distinguish true and false statements. Usually such judgments are made by experts, like journalists for political statements or medical doctors for medical statements. In this paper, we follow a different approach and rely on (non-expert) crowd workers. This of course leads to the following research question: Can crowdsourcing be reliably used to assess the truthfulness of information and to create large-scale labeled collections for information credibility systems? To address this issue, we present the results of an extensive study based on crowdsourcing: we collect thousands of truthfulness assessments over two datasets, and we compare expert judgments with crowd judgments, expressed on scales with various granularity levels. We also measure the political bias and the cognitive background of the workers, and quantify their effect on the reliability of the data provided by the crowd.

研究动机与目标

• 评估非专家众包工作者在评估政治言论真实性方面的可靠性。
• 检验不同判断尺度粒度对真实性评估质量的影响。
• 探究评估者政治背景与认知能力对判断准确性的影响力。
• 将众包生成的真实性标签与专家事实核查评估进行比较。
• 理解众包工作者在评估虚假信息时所使用的信息来源与策略。

提出的方法

• 在美国基于的众包工作者中开展大规模众包实验，评估美国与澳大利亚政界人士言论的真实性。
• 使用受控的定制网络搜索引擎，以在事实核查任务期间标准化信息获取。
• 采用三种真实性判断尺度：S3（真实/虚假/中立）、S6（三点尺度）和S100（100点连续尺度）。
• 收集评估者政治立场（显性和隐性）、认知能力以及与言论的地理相关性数据。
• 应用统计检验（Kruskal-Wallis H检验、Dunn事后检验）分析政治倾向对判断辨别能力的影响。
• 通过合并相邻类别对众包判断进行聚合，以提高信噪比，并评估其与专家标签的相关性。

实验结果

研究问题

• RQ1 RQ1：所使用的评估尺度是否适合通过众包方式收集政治言论的真实性标签？
• RQ2 RQ2：众包标签与专家标签之间，以及使用不同尺度收集的标签之间的关系与一致性如何？
• RQ3 RQ3：众包工作者在识别在线虚假信息时使用了哪些信息来源？
• RQ4 RQ4：评估者背景对客观识别在线虚假信息的影响和作用是什么？

主要发现

• 所有尺度（S3、S6、S100）下，众包工作者的标注者间一致性均较低，但聚合后的判断与专家评估结果显著相关。
• 判断尺度的选择并未影响真实性评估的整体质量，所有尺度在捕捉真实/虚假区分方面表现相似。
• 反对在美墨边境修建围墙的工作者在区分真实与虚假言论方面表现出显著更高的辨别能力（p=0.007）。
• 隐性政治倾向——尤其是移民政策立场——对判断质量具有统计显著影响（p=0.004，针对PolitiFact言论），而显性政党认同则无此影响。
• 众包工作者倾向于依赖搜索结果第一页的信息，表明其在事实核查过程中表现出策略性信息搜寻行为。
• 在气候变化问题上的立场未观察到对判断质量的显著差异，表明偏见效应具有议题特异性。