[论文解读] Jailbroken: How Does LLM Safety Training Fail?

Alexander Wei, Nika Haghtalab+1 more|arXiv (Cornell University)|Jul 5, 2023

Adversarial Robustness in Machine Learning被引用 66

一句话总结

该论文识别了对大型语言模型（LLMs）进行安全训练的两种失效模式——目标相互竞争和泛化不匹配——并显示尽管进行了红队测试和安全措施，像 GPT-4 和 Claude v1.3 这样的最先进模型仍然容易被越狱攻击。

ABSTRACT

Large language models trained for safety and harmlessness remain susceptible to adversarial misuse, as evidenced by the prevalence of "jailbreak" attacks on early releases of ChatGPT that elicit undesired behavior. Going beyond recognition of the issue, we investigate why such attacks succeed and how they can be created. We hypothesize two failure modes of safety training: competing objectives and mismatched generalization. Competing objectives arise when a model's capabilities and safety goals conflict, while mismatched generalization occurs when safety training fails to generalize to a domain for which capabilities exist. We use these failure modes to guide jailbreak design and then evaluate state-of-the-art models, including OpenAI's GPT-4 and Anthropic's Claude v1.3, against both existing and newly designed attacks. We find that vulnerabilities persist despite the extensive red-teaming and safety-training efforts behind these models. Notably, new attacks utilizing our failure modes succeed on every prompt in a collection of unsafe requests from the models' red-teaming evaluation sets and outperform existing ad hoc jailbreaks. Our analysis emphasizes the need for safety-capability parity -- that safety mechanisms should be as sophisticated as the underlying model -- and argues against the idea that scaling alone can resolve these safety failure modes.

研究动机与目标

• 激励并形式化解释为何对经过安全训练的 LLM 进行越狱攻击会发生。
• 提出两种失效模式（竞争性的目标与泛化不匹配）以解释越狱成功。
• 对 GPT-4、Claude v1.3 和 GPT-3.5 Turbo 在多样化越狱攻击下进行实证评估。
• 证明若安全性与能力之间缺乏对等，安全改进的扩展性将很差。

提出的方法

• 使用 good/bad/unclear 标签定义受限行为和越狱成功标准。
• 刻画两种失效模式并构建攻击族群（例如前缀注入、拒绝抑制、Base64 混淆）。
• 基于这两种失效模式创建简单与组合型越狱攻击，并在 GPT-4、Claude v1.3 和 GPT-3.5 Turbo 上进行评估。
• 使用经过筛选的红队提示和更大规模的合成提示集来评估攻击的泛化能力。
• 执行消融实验以测试特定提示特征（如前缀、指令）的重要性。
• 分析防御含义，并主张在扩展之外实现安全与能力的对等。

实验结果

研究问题

• RQ1 哪些是使 LLM 越狱成为可能的安全训练的根本失效模式？
• RQ2 新设计的越狱攻击是否利用竞争性目标和泛化不匹配能超越现有攻击？
• RQ3 当前的安全努力能否推广到更大、能力更强的模型，如 GPT-4 和 Claude v1.3？
• RQ4 由已识别的失效模式提出的防御策略有哪些，扩展规模是否足以弥补安全差距？
• RQ5 攻击有效性如何在不同模型规模和架构（GPT-4、Claude v1.3、GPT-3.5 Turbo）之间变化？

主要发现

• 以竞争性目标和泛化不匹配为引导的越狱攻击在最先进的模型上取得高成功率。
• 在经过筛选的集合上，组合攻击达到较高的 Bad Bot 率（如 GPT-4 ~0.93）且对防御端产生相当的 Good Bot 率（因模型而异）。
• 自适应攻击在精选数据集中能在 GPT-4 和 Claude v1.3 上几乎实现对所有提示的成功。
• 安全改进不能完全阻止越狱；单靠扩展规模不足以解决失效模式，且可能改变脆弱性表面。
• 认为安全-能力对等性是防御对抗性使用 LLM 的必要条件。