[論文レビュー] Lockpicking LLMs: A Logit-Based Jailbreak Using Token-level Manipulation

Yuxi Li, Yi Liu+5 more|arXiv (Cornell University)|May 20, 2024

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、モデル重みを変更せずに出力ログティスを操作することで、LLMの安全性整列における脆弱性を悪用するログティスレベルの攻撃であるSSAGを導入する。この攻撃は、有害な応答を引き出す成功率が95%に達し、露出時間も86%短縮される。これは、現在のログティス抑制に基づく整列手法が根本的に脆く、最小限の干渉でも容易に回避可能であることを示している。

ABSTRACT

Large language models (LLMs) have transformed the field of natural language processing, but they remain susceptible to jailbreaking attacks that exploit their capabilities to generate unintended and potentially harmful content. Existing token-level jailbreaking techniques, while effective, face scalability and efficiency challenges, especially as models undergo frequent updates and incorporate advanced defensive measures. In this paper, we introduce JailMine, an innovative token-level manipulation approach that addresses these limitations effectively. JailMine employs an automated "mining" process to elicit malicious responses from LLMs by strategically selecting affirmative outputs and iteratively reducing the likelihood of rejection. Through rigorous testing across multiple well-known LLMs and datasets, we demonstrate JailMine's effectiveness and efficiency, achieving a significant average reduction of 86% in time consumed while maintaining high success rates averaging 95%, even in the face of evolving defensive strategies. Our work contributes to the ongoing effort to assess and mitigate the vulnerability of LLMs to jailbreaking attacks, underscoring the importance of continued vigilance and proactive measures to enhance the security and reliability of these powerful language models.

研究の動機と目的

• 現在のLLMの安全性整列技術がログティス抑制に依存する根本的脆弱性を調査すること。
• モデルパラメータを変更せずに、出力ログティスを体系的に操作することで、抑制された有害なコンテンツを回復する手法を開発すること。
• このアプローチが最先端の脱獄防御および既存の整列メカニズムに対してどれほど有効であるかを評価すること。
• 現在の安全性整列戦略が最小限のログティスレベルの干渉に対して脆弱であり、容易に影響を受けることを実証すること。
• 脆弱性検出およびコミュニティによる再現可能性を提供する公開可能なツール（VulMine）を提供すること。

提案手法

• 出力層のログティスを生成中に操作することで、抑制された有害な応答を回復する、意味的感受性のある整列と生成（SSAG）を提案する。
• モデル重みおよびアーキテクチャに影響を与えることなく、出力ログティス層でのみ動作する。
• 安全性整列中に抑制される有害または肯定的な応答に関連するログティスを特定し、上昇させる。
• SSAGをVulMineに統合し、プロンプト脱獄に向けた標的的なログティス操作を自動化する。
• ベースラインおよび防御策との比較のため、Perplexity（PPL）および攻撃成功確率（ASR）を評価指標として用いる。
• 初期k個のログティスと残りのm個のログティスを分離することで、寄与度を評価するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 ログティスレベルの操作は、安全性整列によって抑制された有害な応答を効果的に回復できるか？
• RQ2 提案されたSSAG手法は、既存のプロンプトベースの脱獄技術と比較して、効率性および成功確率で優れているか？
• RQ3 VulMineはESF、SmoothLLM、PATなどの強力な防御機構をどれほど効果的に回避できるか？
• RQ4 初期ログティスと残りのログティスの両者が脱獄成功に与える相対的寄与度はどの程度か？
• RQ5 異なるLLMアーキテクチャおよび整列戦略は、このログティス抑制攻撃に対してどのように反応するか？

主な発見

• VulMineは、5つの代表的なLLMにおいて有害な応答を引き出す成功率が95%に達し、ベースライン手法を著しく上回った。
• 従来のトークンレベルの手法と比較して、平均露出時間が86%短縮された。これは、極めて高い効率性を示している。
• 4つの主要な脱獄防御（ESF、SmoothLLM、PAT、およびその他の防御）に対して、VulMineは平均77.39%のASRを維持した。これは、強力な耐性を示している。
• アブレーションスタディの結果、初期k個のログティスが残りのm個のログティスよりも寄与度が高く、VulMine-kはVulMine-mと比較して平均で16.04%高いASRを達成した。
• ベースラインの「質問のみ」プロンプトでも6.38%の有害コンテンツが生成された。これは、抑制された有害なコンテンツがモデル出力に依然として残存していることを示している。
• この手法により、現在のログティス抑制による安全性整列が根本的に脆く、最小限の干渉でも有害な出力を完全に回復可能であることが明らかになった。