[论文解读] Lockpicking LLMs: A Logit-Based Jailbreak Using Token-level Manipulation

Yuxi Li, Yi Liu+5 more|arXiv (Cornell University)|May 20, 2024

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出 SSAG，一种在 logits 层次上的攻击方法，通过操纵输出 logits 而不改变模型权重，利用大语言模型安全对齐中的漏洞。该方法在诱导有害响应方面实现了 95% 的成功率，并将暴露时间减少了 86%，表明基于 logits 抑制的当前对齐方法在本质上极为脆弱，即使是最小的干预也极易被绕过。

ABSTRACT

Large language models (LLMs) have transformed the field of natural language processing, but they remain susceptible to jailbreaking attacks that exploit their capabilities to generate unintended and potentially harmful content. Existing token-level jailbreaking techniques, while effective, face scalability and efficiency challenges, especially as models undergo frequent updates and incorporate advanced defensive measures. In this paper, we introduce JailMine, an innovative token-level manipulation approach that addresses these limitations effectively. JailMine employs an automated "mining" process to elicit malicious responses from LLMs by strategically selecting affirmative outputs and iteratively reducing the likelihood of rejection. Through rigorous testing across multiple well-known LLMs and datasets, we demonstrate JailMine's effectiveness and efficiency, achieving a significant average reduction of 86% in time consumed while maintaining high success rates averaging 95%, even in the face of evolving defensive strategies. Our work contributes to the ongoing effort to assess and mitigate the vulnerability of LLMs to jailbreaking attacks, underscoring the importance of continued vigilance and proactive measures to enhance the security and reliability of these powerful language models.

研究动机与目标

• 调查当前依赖 logits 抑制的大型语言模型安全对齐技术中的根本性漏洞。
• 开发一种系统性地操纵输出 logits 的方法，以在不修改模型参数的情况下恢复被抑制的有害内容。
• 评估该方法在最先进的越狱防御机制和现有对齐机制上的有效性。
• 证明现有的安全对齐策略本质上脆弱，极易受到最小程度的 logits 层次操纵的影响。
• 提供一个公开可用的工具（VulMine），用于漏洞检测和社区复现。

提出的方法

• 提出语义敏感对齐与生成（SSAG），一种在生成过程中操纵输出层 logits 的技术，以恢复被安全对齐抑制的有害响应。
• 仅在输出 logits 层次操作，保持模型权重和架构不变。
• 识别并提升在安全对齐过程中被抑制的有害或肯定性响应相关 logits。
• 将 SSAG 集成到 VulMine 中，该工具可自动应用有针对性的 logits 操纵以实现提示越狱。
• 使用困惑度（PPL）和攻击成功率（ASR）作为评估指标，对比基线方法和防御机制的效能。
• 通过隔离初始 k 个 logits 和剩余 m 个 logits 的影响，开展消融研究以评估各组件的贡献。

实验结果

研究问题

• RQ1 logits 层次的操纵能否有效恢复被安全对齐所抑制的有害响应？
• RQ2 与现有基于提示的越狱技术相比，所提出的 SSAG 方法在效率和成功率方面表现如何？
• RQ3 VulMine 在多大程度上能够绕过 ESF、SmoothLLM 和 PAT 等强防御机制？
• RQ4 初始 logits 与剩余 logits 在实现成功越狱中的相对贡献如何？
• RQ5 不同大语言模型架构和对齐策略对这种 logits 抑制攻击的响应有何差异？

主要发现

• VulMine 在五种主流大语言模型上实现了 95% 的有害响应诱导成功率，显著优于基线方法。
• 与现有基于 token 的方法相比，该攻击将平均暴露时间减少了 86%，展现出极高的效率。
• 在四种主要越狱防御机制（ESF、SmoothLLM、PAT 及其他）下，VulMine 的平均 ASR 达 77.39%，表现出强大的鲁棒性。
• 消融研究显示，初始 k 个 logits 的贡献高于剩余 m 个 logits，VulMine-k 的平均 ASR 比 VulMine-m 高 16.04%。
• 即使基线的“仅问题”提示也能实现 6.38% 的有害内容输出，表明被抑制的有害内容在模型输出中仍持续存在。
• 该方法揭示了当前通过 logits 抑制实现的安全对齐本质上脆弱，因为极小的干预即可完全恢复有害输出。