[论文解读] Human-Misinformation interaction: Understanding the interdisciplinary approach needed to computationally combat false information

Alireza Karduni|arXiv (Cornell University)|Mar 17, 2019

Misinformation and Its Impacts参考文献 87被引用 14

一句话总结

本文提出了一种跨学科框架，通过分析虚假信息的三个核心组成部分——来源、内容和受众——来计算化地应对虚假信息。它批评了计算机科学领域当前对内容检测和来源验证的过度关注，指出在应对认知偏见（如确认偏误）和回音室效应等心理与社会因素方面，面向受众的工具存在关键缺口，呼吁采用人机交互（HCI）指导的、以可用性为导向的解决方案，以增强人类对虚假信息的抵御能力。

ABSTRACT

The prevalence of new technologies and social media has amplified the effects of misinformation on our societies. Thus, it is necessary to create computational tools to mitigate their effects effectively. This study aims to provide a critical overview of computational approaches concerned with combating misinformation. To this aim, I offer an overview of scholarly definitions of misinformation. I adopt a framework for studying misinformation that suggests paying attention to the source, content, and consumers as the three main elements involved in the process of misinformation and I provide an overview of literature from disciplines of psychology, media studies, and cognitive sciences that deal with each of these elements. Using the framework, I overview the existing computational methods that deal with 1) misinformation detection and fact-checking using Content 2) Identifying untrustworthy Sources and social bots, and 3) Consumer-facing tools and methods aiming to make humans resilient to misinformation. I find that the vast majority of works in computer science and information technology is concerned with the crucial tasks of detection and verification of content and sources of misinformation. Moreover, I find that computational research focusing on Consumers of Misinformation in Human-Computer Interaction (HCI) and related fields are very sparse and often do not deal with the subtleties of this process. The majority of existing interfaces and systems are less concerned with the usability of the tools rather than the robustness and accuracy of the detection methods. Using this survey, I call for an interdisciplinary approach towards human-misinformation interaction that focuses on building methods and tools that robustly deal with such complex psychological/social phenomena.

研究动机与目标

• 应对社交媒体和新技术加剧的虚假信息对社会构成的日益严重的威胁。
• 识别当前计算方法的局限性，即过度强调内容检测和来源验证，而低估了人类认知与社会因素的影响。
• 突出在虚假信息研究中，特别是人机交互（HCI）和面向用户系统中，以人为本的计算工具的稀缺性。
• 呼吁建立一个整合的、跨学科的研究框架，融合心理学、认知科学、媒体研究和计算机科学的洞见，以设计出强大且可用的工具来应对虚假信息。
• 强调计算系统必须考虑认知偏误（如确认偏误和先前暴露）等心理因素，这些因素会削弱事实核查的努力。

提出的方法

• 采用三元框架：将来源、内容和受众作为虚假信息互动的核心要素。
• 综述心理学、认知科学和媒体研究等跨学科文献，以理解虚假信息消费背后的心理与社会机制。
• 将计算方法划分为三个领域：(1) 通过语言、视觉和传播模式分析进行内容检测与自动事实核查；(2) 来源验证，包括利用行为和网络特征进行机器人检测；(3) 面向受众的工具，如可视化展示和自动评分系统。
• 评估现有面向用户系统的可用性、鲁棒性以及对心理洞见的整合程度，发现大多数系统在应对认知偏误方面缺乏深度。
• 提出从单纯以准确性为导向的检测系统，转向考虑可用性、认知负荷和心理韧性的以人为本设计。
• 倡导计算机科学家、心理学家和社会科学家之间的协作研究，共同设计能有效在人类层面减轻虚假信息影响的工具。

实验结果

研究问题

• RQ1 认知与社会因素（如确认偏误、先前暴露和回音室效应）如何影响人类对虚假信息的易感性？
• RQ2 为何当前用于虚假信息检测与事实核查的计算工具尽管准确度高，却无法改变用户信念？
• RQ3 现有面向用户系统的哪些关键局限性导致其无法有效应对虚假信息消费者复杂决策过程？
• RQ4 计算工具如何被重新设计，以有效抵消虚假信息消费中的认知偏误与社会压力？
• RQ5 为在大规模范围内构建强大、可用且具备心理洞察力的虚假信息应对工具，需要哪些跨学科研究路径？

主要发现

• 计算机科学领域中绝大多数计算研究聚焦于内容检测与来源验证，对虚假信息消费的心理与行为方面关注有限。
• 人机交互（HCI）及相关领域中的面向用户工具稀少，通常忽视可用性，并且未能深入整合心理学与认知科学的洞见。
• 现有系统很少评估其在现实世界中的有效性，也未考虑确认偏误和选择性暴露等认知偏误，而这些因素显著影响信念形成。
• 重复传播虚假信息——即使是为了更正——可能适得其反，反而强化而非纠正错误信念。
• 在虚假信息传播中，社会压力、过滤气泡与回音室效应之间复杂互动的计算工具存在关键缺口。
• 必须采用全面的、跨学科的方法，才能设计出不仅能够检测虚假信息，还能赋能用户在现实情境中做出知情且具有韧性的决策的工具。