[论文解读] Disinformation in the Online Information Ecosystem: Detection, Mitigation and Challenges

Amrita Bhattacharjee, Kai Shu+2 more|arXiv (Cornell University)|Oct 18, 2020

Misinformation and Its Impacts参考文献 53被引用 5

一句话总结

本综述探讨了在线社交媒体中的虚假信息问题，重点关注新冠疫情‘信息疫情’背景下的检测与缓解策略。它综合了计算方法与跨学科方法，强调了人工智能生成内容和回音室等挑战，并呼吁改进算法与媒体素养以应对虚假信息。

ABSTRACT

With the rapid increase in access to internet and the subsequent growth in the population of online social media users, the quality of information posted, disseminated and consumed via these platforms is an issue of growing concern. A large fraction of the common public turn to social media platforms and in general the internet for news and even information regarding highly concerning issues such as COVID-19 symptoms. Given that the online information ecosystem is extremely noisy, fraught with misinformation and disinformation, and often contaminated by malicious agents spreading propaganda, identifying genuine and good quality information from disinformation is a challenging task for humans. In this regard, there is a significant amount of ongoing research in the directions of disinformation detection and mitigation. In this survey, we discuss the online disinformation problem, focusing on the recent 'infodemic' in the wake of the coronavirus pandemic. We then proceed to discuss the inherent challenges in disinformation research, and then elaborate on the computational and interdisciplinary approaches towards mitigation of disinformation, after a short overview of the various directions explored in detection efforts.

研究动机与目标

• 分析新冠疫情爆发期间在线社交媒体中虚假信息的兴起。
• 识别在大规模检测与缓解虚假信息过程中面临的核心挑战，包括人工智能生成内容和算法偏见。
• 评估用于检测和减少虚假信息传播的计算与跨学科方法。
• 强调迫切需要改进推荐系统与公众媒体素养，以应对虚假信息。

提出的方法

• 对虚假信息研究进行全面调查，重点关注社交媒体生态系统中检测与缓解技术。
• 回顾自然语言处理（NLP）、图神经网络和语言模型等计算方法，用于识别虚假信息模式。
• 考察跨学科策略，包括媒体素养计划和信任指标（例如Trust Project），以增强公众的抗逆力。
• 分析社交媒体算法在加剧回音室效应中的作用，并提出重新设计排名系统以实现内容曝光的平衡。
• 评估大型语言模型（如GPT-2、GPT-3）和深度伪造技术对自动化虚假信息活动带来的新兴威胁。
• 综合案例研究的发现，包括《Plandemic》影片和2,000个与新冠疫情相关的谣言，以说明现实世界中虚假信息的动态。

实验结果

研究问题

• RQ1 新冠疫情如何加剧了在线信息生态系统中虚假信息的传播？
• RQ2 在大规模检测与缓解虚假信息方面，主要的技术与社会挑战是什么？
• RQ3 自然语言处理（NLP）和基于图的模型等计算方法如何提升虚假信息检测能力？
• RQ4 跨学科方法——尤其是媒体素养与信任指标——在增强公众对虚假信息抗逆力方面有哪些作用？
• RQ5 先进语言模型与深度伪造技术对未来虚假信息威胁及防御机制有何影响？

主要发现

• 世界卫生组织将新冠疫情界定为‘信息疫情’，期间在线传播了超过2,000条谣言和阴谋论。
• 2019年斯坦福大学研究发现，90%的学生无法正确评估在线信息源的可信度，凸显了公众对虚假信息的高度易感性。
• 现有社交媒体推荐算法往往通过优先推送与用户既有信念一致的内容，强化了回音室效应。
• 大型语言模型如GPT-2和GPT-3可经过微调，大规模生成高度逼真、类人的虚假信息。
• 跨学科举措如Trust Project的8项信任指标以及教育类游戏如DROG，有助于提高公众意识并增强对虚假信息的心理抵御能力。
• 迫切需要对算法进行重新设计，以平衡不同观点的曝光，减少内容排名中的极化现象。