[论文解读] Challenges in Combating COVID-19 Infodemic -- Data, Tools, and Ethics

Kaize Ding, Kai Shu+3 more|arXiv (Cornell University)|May 27, 2020

Misinformation and Its Impacts参考文献 8被引用 4

一句话总结

本文识别了在利用人工智能应对新冠疫情谣言泛滥时面临的三大核心挑战——数据质量、工具有效性以及伦理权衡。文章提出了一套框架，利用社交媒体数据、弱监督方法和可解释的检测模型来识别虚假信息，同时强调隐私保护设计与跨学科协作，以确保在公共卫生危机期间实现伦理、稳健且可扩展的解决方案。

ABSTRACT

While the COVID-19 pandemic continues its global devastation, numerous accompanying challenges emerge. One important challenge we face is to efficiently and effectively use recently gathered data and find computational tools to combat the COVID-19 infodemic, a typical information overloading problem. Novel coronavirus presents many questions without ready answers; its uncertainty and our eagerness in search of solutions offer a fertile environment for infodemic. It is thus necessary to combat the infodemic and make a concerted effort to confront COVID-19 and mitigate its negative impact in all walks of life when saving lives and maintaining normal orders during trying times. In this position paper of combating the COVID-19 infodemic, we illustrate its need by providing real-world examples of rampant conspiracy theories, misinformation, and various types of scams that take advantage of human kindness, fear, and ignorance. We present three key challenges in this fight against the COVID-19 infodemic where researchers and practitioners instinctively want to contribute and help. We demonstrate that these three challenges can and will be effectively addressed by collective wisdom, crowdsourcing, and collaborative research.

研究动机与目标

• 为应对新冠疫情期间虚假信息、阴谋论和诈骗传播的紧迫需求。
• 识别在部署人工智能用于谣言泛滥遏制时，数据可及性、计算工具局限性以及伦理风险等方面的关键挑战。
• 推动协作性、跨学科研究，确保人工智能驱动的虚假信息检测在公平性、透明度和长期可持续性方面表现良好。
• 开发可解释且具备隐私意识的系统，在有效检测虚假内容的同时维护用户信任。
• 通过在设计过程中嵌入伦理考量，防止因过度依赖监控或存在偏见的模型而造成长期危害。

提出的方法

• 利用社交媒体互动模式和虚假新闻检测评分等弱监督信号，以有限标注数据训练模型。
• 通过出版商-新闻作品-用户关系建模可信度，整合关于媒体偏见与用户信任的社会学洞见。
• 应用可解释人工智能技术，挖掘用户评论并突出显示对虚假新闻预测有贡献的具体文本片段。
• 采用网站匹配器，将URL与NewsGuard已知的虚假信息来源进行交叉比对，以提升检测准确性。
• 设计采用端到端加密与点对点通信的接触追踪系统，以最大限度降低隐私风险。
• 在数据收集过程中促进透明度与用户同意，以平衡公共卫生需求与公民自由及民主价值观。

实验结果

研究问题

• RQ1 如何在有限标注数据与社交媒体信号的条件下，有效检测并解释关于新冠疫情的虚假信息？
• RQ2 在大规模部署人工智能工具以应对谣言泛滥时，面临的关键技术与伦理挑战是什么？
• RQ3 如何确保在公共卫生紧急状态下收集的健康与行为数据的隐私性，并防止其被滥用？
• RQ4 协作性、跨学科研究在哪些方面可提升虚假信息检测系统的鲁棒性与公平性？
• RQ5 哪些设计原则可在公共卫生紧急需求与长期民主及伦理完整性之间实现平衡，特别是在监控与数据使用方面？

主要发现

• 全球范围内的与冠状病毒相关的垃圾信息量在一周内几乎增长了三倍，目前近3%的全球垃圾信息与疫情相关。
• 在美国，被用户互动最多的十大新闻网站中，有八个在传播有关病毒的虚假信息，表明虚假信息具有极强的传播性。
• 相当大比例的公众——近30%的美国人——相信该病毒是实验室制造的生物武器，凸显了阴谋论的广泛传播。
• 采用弱监督与社交媒体互动数据训练的虚假新闻检测模型，在无需大量人工标注的情况下，显著提升了识别虚假信息的性能。
• 可解释人工智能方法成功识别出对虚假新闻预测有贡献的具体文本片段与用户评论，增强了模型的透明度。
• 采用端到端加密与去中心化数据存储的隐私保护型接触追踪系统，可在保持公共卫生实用性的前提下，降低监控滥用的风险。