[论文解读] Combating Misinformation in the Age of LLMs: Opportunities and Challenges

Canyu Chen, Kai Shu|arXiv (Cornell University)|Nov 9, 2023

Misinformation and Its Impacts被引用 20

一句话总结

关于使用大型语言模型（LLMs）来对抗错误信息的全面综述，概述检测、干预与归因人类与 LLM 生成的错误信息的机会、挑战和未来方向。

ABSTRACT

Misinformation such as fake news and rumors is a serious threat on information ecosystems and public trust. The emergence of Large Language Models (LLMs) has great potential to reshape the landscape of combating misinformation. Generally, LLMs can be a double-edged sword in the fight. On the one hand, LLMs bring promising opportunities for combating misinformation due to their profound world knowledge and strong reasoning abilities. Thus, one emergent question is: how to utilize LLMs to combat misinformation? On the other hand, the critical challenge is that LLMs can be easily leveraged to generate deceptive misinformation at scale. Then, another important question is: how to combat LLM-generated misinformation? In this paper, we first systematically review the history of combating misinformation before the advent of LLMs. Then we illustrate the current efforts and present an outlook for these two fundamental questions respectively. The goal of this survey paper is to facilitate the progress of utilizing LLMs for fighting misinformation and call for interdisciplinary efforts from different stakeholders for combating LLM-generated misinformation.

研究动机与目标

• 提供在 LLMs 出现之前，对错误信息治理的历史性_OVERVIEW_，重点在检测。
• 分析使用 LLMs 来打击错误信息的机会与挑战。
• 探索基于 LLM 的错误信息干预与归因，以及潜在的多模态/人机协作途径。
• 识别风险并提出应对 LLM 生成的错误信息所需的跨学科行动。

提出的方法

• 在 LLMs 之前，针对语言学、神经、社会情境、外部知识、泛化、监督、多语言和多模态方法的错误信息检测方法的系统文献综述。
• 综合探讨 LLMs 如何提升检测、干预和归因的能力，包括外部知识、工具、多模态数据和自主代理的使用。
• 在 LLM 支持的检测器中讨论可信性、鲁棒性、可解释性、公平性、隐私和透明度。
• 对 LLM 生成的错误信息进行分析、特征描述、在各个领域的威胁以及对策。

实验结果

研究问题

• RQ1 能否有效利用 LLMs 来打击错误信息？
• RQ2 有哪些有效策略可以缓解 LLM 生成的错误信息？
• RQ3 LLMs 如何在可置信的方式下提升错误信息的检测、干预和归因？
• RQ4 在该领域中，多语言和多模态 LLM、LLM 代理和人机协作的作用是什么？
• RQ5 为应对新出现的 LLM 生成的错误信息的风险，需要哪些跨学科的措施？

主要发现

• LLMs 提供强大的世界知识和推理能力，能够增强错误信息的检测和核实。
• 通过外部知识、工具和多模态输入增强的 LLM 可以减轻幻觉并提高事实性。
• LLMs 在干预与归因方面的机会正在出现，不仅仅是检测，并伴随人机协作。
• 可信度问题仍然居中，包括鲁棒性、可解释性、公平性和隐私，需要为基于 LLM 的检测器设计新的评估方法。
• LLM 生成的错误信息在新闻、医疗、金融和政治等领域构成现实威胁，需要主动的对策和跨学科协调。