[论文解读] Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard Security Attacks

Daniel Kang, Xuechen Li+4 more|arXiv (Cornell University)|Feb 11, 2023

Topic Modeling被引用 27

一句话总结

本论文证明，遵循指令的大语言模型（LLMs）可以通过标准安全攻击（混淆、代码注入/载荷分割、虚拟化）来规避内容过滤并生成有针对性的恶意内容，成本低且具有高度说服力。

ABSTRACT

Recent advances in instruction-following large language models (LLMs) have led to dramatic improvements in a range of NLP tasks. Unfortunately, we find that the same improved capabilities amplify the dual-use risks for malicious purposes of these models. Dual-use is difficult to prevent as instruction-following capabilities now enable standard attacks from computer security. The capabilities of these instruction-following LLMs provide strong economic incentives for dual-use by malicious actors. In particular, we show that instruction-following LLMs can produce targeted malicious content, including hate speech and scams, bypassing in-the-wild defenses implemented by LLM API vendors. Our analysis shows that this content can be generated economically and at cost likely lower than with human effort alone. Together, our findings suggest that LLMs will increasingly attract more sophisticated adversaries and attacks, and addressing these attacks may require new approaches to mitigations.

研究动机与目标

• 激励并量化遵循指令的LLMs的双重用途风险。
• 展示LLMs像可编程系统一样，能够返回用于安全攻击的“gadgets”（工具/小装置）。
• 演示能够绕过实际环境防御的攻击并评估恶意生成的经济可行性。
• 主张从传统计算机安全汲取经验，提出新的防御措施。

提出的方法

• 将LLMs建模为具有操作码（内存、赋值、分支）的可编程系统。
• 设计混淆、代码注入/载荷分割和虚拟化攻击，将经典安全学的思路迁移到提示中。
• 在多种恶意使用场景中评估针对OpenAI防御（输入/输出过滤、无用生成）的攻击。
• 量化绕过成功率并比较不同模型生成的说服力。
• 进行经济分析，比较模型生成与人类生成内容的成本。
• 分析恶意生成内容的个性化和说服力。

实验结果

研究问题

• RQ1 遵循指令的LLMs是否可以用简单攻击绕过现实环境中的防御（输入/输出过滤、无用生成）？
• RQ2 模型生成的恶意生成是否具有说服力并且受情境依赖，包括个性化的骗局？
• RQ3 与人力相比，使用LLMs进行恶意文本生成的经济可行性如何？
• RQ4 不同的遵循指令的LLMs在恶意内容的说服力、一致性、个性化和流畅度方面的表现有何差异？
• RQ5 哪些防御措施或来自传统计算机安全的类比可以缓解这些双重用途风险？

主要发现

• 混淆和虚拟化攻击在所测试的情景中实现了对OpenAI防御的100%绕过。
• 在初始防御未被触发时，间接攻击总体绕过率达到92%。
• 在测试的模型中，ChatGPT和text-davinci-003产生了最具说服力和一致性的恶意内容。
• 恶意内容可以对人口统计特征进行个性化，具备高程度的个性化、说服力和流畅性，尤其是对于较高能力的模型。
• 经济分析表明，模型生成的恶意内容每次成本可低至0.0064到0.016美元，可能比人类生成的文本更便宜。
• 攻击可以通过模板化进行大规模扩展，并且可以组合以提高效果。