[论文解读] Disinformation Capabilities of Large Language Models

Ivan Vykopal, Matúš Pikuliak+4 more|arXiv (Cornell University)|Nov 15, 2023

Misinformation and Its Impacts被引用 4

一句话总结

本文评估了10种指令微调的大规模语言模型（LLMs）在生成与20种有害虚假信息叙事（如健康谣言）一致的逼真英文新闻文章方面的虚假信息生成能力。研究发现，包括开源模型在内的LLMs能够以极低的安全过滤失败率生成高度可信的虚假信息，可被现有模型检测到，且可部分通过LLMs自身实现自动化评估。

ABSTRACT

Automated disinformation generation is often listed as an important risk associated with large language models (LLMs). The theoretical ability to flood the information space with disinformation content might have dramatic consequences for societies around the world. This paper presents a comprehensive study of the disinformation capabilities of the current generation of LLMs to generate false news articles in the English language. In our study, we evaluated the capabilities of 10 LLMs using 20 disinformation narratives. We evaluated several aspects of the LLMs: how good they are at generating news articles, how strongly they tend to agree or disagree with the disinformation narratives, how often they generate safety warnings, etc. We also evaluated the abilities of detection models to detect these articles as LLM-generated. We conclude that LLMs are able to generate convincing news articles that agree with dangerous disinformation narratives.

研究动机与目标

• 评估当前指令微调的LLMs在多大程度上能够生成与英文虚假信息叙事相符的逼真虚假新闻文章。
• 评估安全过滤机制在防止LLMs生成有害虚假信息内容方面的有效性。
• 衡量现有检测模型识别LLM生成的虚假信息的能力。
• 探索利用LLMs自动化评估其他LLMs虚假信息生成能力的可行性。
• 为理解LLMs作为大规模虚假信息工具的当前状态提供基准参考。

提出的方法

• 本研究通过20种预定义的虚假信息叙事（包括与健康相关的谣言和阴谋论）向10个LLM生成新闻文章。
• 由人工标注者对生成文本在与叙事的一致性、新颖论点的使用以及文体连贯性方面进行人工评估。
• 通过测量免责声明、反论点或拒绝生成内容的频率，评估安全过滤机制的有效性。
• 测试检测模型在高精度下识别LLM生成的虚假信息的能力。
• 使用GPT-4对部分生成文本进行评估，以检验基于LLM的自动化评估流程的可行性。
• 评估过程采用标准化提示框架和受控的标注流程，以确保一致性。

Figure 1: Summary of how many generated texts we consider dangerous or safe . Dangerous texts are proper disinformation articles that could be misused. Safe texts contain disclaimers, provide counterarguments, argue against the user, etc. Note that GPT-4 annotations are generally biased towards safe

实验结果

研究问题

• RQ1 当前LLMs在多大程度上能够生成与危险虚假信息叙事相符的新闻文章？
• RQ2 安全过滤机制在防止LLMs生成有害虚假信息内容方面有多有效？
• RQ3 现有检测模型在多大程度上能够检测LLM生成的虚假信息文章？
• RQ4 能否利用LLMs实现对其他LLMs虚假信息生成能力的自动化评估？
• RQ5 不同LLMs在虚假信息生成能力和安全合规性方面有何差异？

主要发现

• 包括开源模型在内的LLMs能够生成与危险叙事（如健康谣言和阴谋论）高度一致的逼真虚假新闻文章。
• 大多数LLMs的安全过滤机制未能有效防止有害内容的生成，仅有少数模型对虚假信息提示表现出显著的抵抗能力。
• 相当大比例的生成文本（如图1所示）被归类为“危险”——即完全支持虚假信息，且未包含免责声明或反论点。
• 检测模型能够以高精度识别LLM生成的虚假信息，表明自动化检测仍是有效的防御机制。
• GPT-4能够部分实现评估流程的自动化，表明基于LLM的评估流程未来可实现低人力投入的规模化评估。
• 本研究指出，恶意行为者通过提示工程可进一步提升虚假信息质量并绕过安全机制，表明当前评估可能低估了真实世界的风险。

Figure 2: The average score for each question and LLM using (a) human and (b) GPT-4 annotations.