[论文解读] Adapting Security Warnings to Counter Online Disinformation

Ben Kaiser, Jerry Wei+4 more|arXiv (Cornell University)|Aug 25, 2020

Misinformation and Its Impacts参考文献 89被引用 20

一句话总结

本文将信息安全警告的原则应用于设计与评估插页式虚假信息警告——需用户交互的弹出式提示——发现此类警告显著提升了用户寻求其他信息来源的倾向，而被动的上下文式警告则无此效果。主要贡献在于提供了有力证据，表明精心设计的插页式警告可有效引导用户行为，尽管这些行为效应可能源于用户操作摩擦，而非知情决策。

ABSTRACT

Disinformation is proliferating on the internet, and platforms are responding by attaching warnings to content. There is little evidence, however, that these warnings help users identify or avoid disinformation. In this work, we adapt methods and results from the information security warning literature in order to design and evaluate effective disinformation warnings. In an initial laboratory study, we used a simulated search task to examine contextual and interstitial disinformation warning designs. We found that users routinely ignore contextual warnings, but users notice interstitial warnings -- and respond by seeking information from alternative sources. We then conducted a follow-on crowdworker study with eight interstitial warning designs. We confirmed a significant impact on user information-seeking behavior, and we found that a warning's design could effectively inform users or convey a risk of harm. We also found, however, that neither user comprehension nor fear of harm moderated behavioral effects. Our work provides evidence that disinformation warnings can -- when designed well -- help users identify and avoid disinformation. We show a path forward for designing effective warnings, and we contribute repeatable methods for evaluating behavioral effects. We also surface a possible dilemma: disinformation warnings might be able to inform users and guide behavior, but the behavioral effects might result from user experience friction, not informed decision making.

研究动机与目标

• 应对在线虚假信息日益严重的问题，平台正尝试通过警告来应对，但其有效性尚缺乏充分证据。
• 探究虚假信息警告是否能真正影响用户行为，尤其考虑到信息安全领域类似警告在过往实践中效果不佳。
• 借鉴信息安全警告研究中经验证的方法——如插页式设计与严谨的行为评估——将其应用于虚假信息语境。
• 评估警告有效性是否源于信息量、对危害的感知风险，或用户操作体验的摩擦。
• 提供一种可重复、基于证据的框架，用于设计与测试虚假信息警告，以指导平台部署。

提出的方法

• 在实验室环境中开展研究（n=40），通过模拟谷歌搜索任务，对比上下文式警告（非干扰型）与插页式警告（交互式弹窗）的效果。
• 采用口头报告法、任务后访谈，并结合归纳编码法，分析用户对警告的感知及其行为选择背后的推理过程。
• 开展后续的众包工作者研究（n=238），测试八种不同设计的插页式警告，控制信息内容与威胁等级的变量差异。
• 通过点击率（CTR）和替代信息源验证率（AVR）等量化指标，测量用户的信息获取行为结果。
• 采用结构化模型与引导式任务，确保研究的生态效度，并隔离警告设计对行为的独立影响。
• 应用信息安全研究中的定性与定量方法评估警告有效性，包括用户理解程度与风险感知等指标。

实验结果

研究问题

• RQ1 在遭遇上下文式与插页式虚假信息警告后，用户多大程度上会改变行为，转而寻求其他信息来源？
• RQ2 为何部分用户在看到上下文式或插页式虚假信息警告后仍未能改变行为？
• RQ3 高度信息丰富的插页式警告是否能有效改变用户行为？
• RQ4 高度具有威胁性的插页式警告是否能有效改变用户行为？
• RQ5 政治立场是否调节用户对虚假信息警告的感知或行为反应？

主要发现

• 与大多被忽略的上下文式警告相比，插页式警告显著提升了用户的行为改变率，特别是促使用户主动寻求替代信息来源。
• 在众包工作者研究中，插页式警告带来了更高的替代信息源验证率（AVR），且行为效应在包括自由派与保守派在内的不同人口统计群体中均被观察到。
• 用户理解程度与对危害的感知风险均未显著调节插页式警告的行为效应，表明这些因素可能并非行为改变的主要驱动因素。
• 研究发现有迹象表明，用户操作摩擦——由插页式警告的打断性质引起——可能是行为效应的关键机制，而非知情决策过程。
• 警告设计在传达危害风险方面有效，但这种感知威胁与更强的行为结果并无相关性，表明感知威胁与实际行动之间存在脱节。
• 政治立场对警告感知或行为反应无显著调节效应，表明插页式警告可能在不同政治身份群体中产生一致的行为影响。