[论文解读] Countering Misinformation on Social Media Through Educational Interventions: Evidence from a Randomized Experiment in Pakistan

Sajid Ali, Ihsan Ayyub Qazi|arXiv (Cornell University)|Jul 6, 2021

Misinformation and Its Impacts被引用 11

一句话总结

本项在巴基斯坦拉合尔进行的随机对照实验，测试了针对低数字素养用户群体的教育干预措施在提升虚假新闻识别能力方面的效果。尽管通用视频教育未产生显著影响，但基于基线评估结果的个性化反馈使虚假新闻识别能力提升了0.14个标准差，凸显了在数字素养项目中量身定制设计的重要性。

ABSTRACT

Fake news is a growing problem in developing countries with potentially far-reaching consequences. We conduct a randomized experiment in urban Pakistan to evaluate the effectiveness of two educational interventions to counter misinformation among low-digital literacy populations. We do not find a significant effect of video-based general educational messages about misinformation. However, when such messages are augmented with personalized feedback based on individuals' past engagement with fake news, we find an improvement of 0.14 standard deviations in identifying fake news. We also find negative but insignificant effects on identifying true news, driven by female respondents. Our results suggest that educational interventions can enable information discernment but their effectiveness critically depends on how well their features and delivery are customized for the population of interest.

研究动机与目标

• 评估教育干预措施在发展中国家低数字素养用户群体中提升虚假新闻识别能力的有效性。
• 检验仅通过通用教育视频是否能降低人们对虚假信息的易感性。
• 测试基于用户过去接触虚假新闻行为的个性化反馈是否能增强信息辨别能力。
• 探讨教育干预措施在性别和识字水平方面的差异影响。
• 评估教育干预效果在信念形成和新闻评估方面的长期持续性。

提出的方法

• 在巴基斯坦拉合尔的100个城市社区中，对750名参与者开展聚类随机对照试验。
• 通过巴基斯坦实际传播的社交媒体真实故事测量虚假新闻识别的基线水平。
• 向一组受试者提供用国语制作的通用教育视频，以教授虚假信息的常见特征。
• 向另一组受试者提供个性化反馈，将其过去对虚假新闻的回应与具体的欺骗性指标相联系。
• 通过两次终线调查评估参与者对新出现的真实与虚假新闻故事信念的变化。
• 采用稳健性检验以排除实验者期望效应的影响，并确保结果的有效性。

实验结果

研究问题

• RQ1 通用视频教育干预是否显著提升个体识别虚假新闻的能力？
• RQ2 在教育干预中增加关于用户过去接触虚假新闻行为的个性化反馈，是否能增强干预效果？
• RQ3 是否存在性别差异效应，特别是对真实新闻的怀疑态度是否存在性别差异？
• RQ4 教育干预的效果在多长时间内具有持续性？
• RQ5 教育干预在多大程度上减少了人们对虚假信息的信念，尤其是在新冠疫情期间等敏感话题上？

主要发现

• 仅通过通用视频教育对虚假新闻识别能力无统计显著影响。
• 视频教育与个性化反馈相结合，使虚假新闻识别能力提升了0.14个标准差。
• 在个性化反馈组中，虚假新闻和真实新闻的识别能力均提升了0.076个标准差。
• 女性受访者在识别真实新闻方面表现出显著负面效应，表明其对准确内容的怀疑程度提高。
• 干预效果具有长期持续性，表明学习效果具有持久性。
• 研究发现数字素养较低的个体和女性参与度较低，表明在公平性方面存在设计挑战。