[論文レビュー] Catastrophic Jailbreak of Open-source LLMs via Exploiting Generation

Yangsibo Huang, Samyak Gupta+3 more|arXiv (Cornell University)|Oct 10, 2023

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

この論文は、生成設定を変更することで11のオープンソースLLMを jailbreak する生成利用攻撃を紹介し、 prior methods よりもはるかに低い計算資源でミスアライメント率を95%以上達成、生成認識型のアライメント防御を提案する。

ABSTRACT

The rapid progress in open-source large language models (LLMs) is significantly advancing AI development. Extensive efforts have been made before model release to align their behavior with human values, with the primary goal of ensuring their helpfulness and harmlessness. However, even carefully aligned models can be manipulated maliciously, leading to unintended behaviors, known as "jailbreaks". These jailbreaks are typically triggered by specific text inputs, often referred to as adversarial prompts. In this work, we propose the generation exploitation attack, an extremely simple approach that disrupts model alignment by only manipulating variations of decoding methods. By exploiting different generation strategies, including varying decoding hyper-parameters and sampling methods, we increase the misalignment rate from 0% to more than 95% across 11 language models including LLaMA2, Vicuna, Falcon, and MPT families, outperforming state-of-the-art attacks with $30 imes$ lower computational cost. Finally, we propose an effective alignment method that explores diverse generation strategies, which can reasonably reduce the misalignment rate under our attack. Altogether, our study underscores a major failure in current safety evaluation and alignment procedures for open-source LLMs, strongly advocating for more comprehensive red teaming and better alignment before releasing such models. Our code is available at https://github.com/Princeton-SysML/Jailbreak_LLM.

研究の動機と目的

• オープンソース LLM が安全性アライメントにもかかわらず jailbreak に脆弱であり続けることを実証する。
• 生成設定（システムプロンプト、デコードのハイパーパラメータ）が敵対的プロンプトなしでアライメントを破ることができることを示す。
• 複数のモデルファミリーとベンチマークにおけるミスアライメントと有害性を定量化する。
• 生成認識型アライメントを提案・評価し、生成戦略ベースの jailbreak を緩和する。

提案手法

• システムプロンプトを削除し、システムプロンプトの有無を問わずデコード設定（温度、トップ-k、トップ-p）を一括で sweep することで生成利用攻撃を定義する。
• AdvBench と MaliciousInstruct を用いて 11 のオープンソースモデル（Vicuna、MPT、Falcon、LLaMA2）に対して攻撃を評価する。
• 96% の検証精度を持つ分類器ベースのミスアライメント指標（HH-RLHF が訓練済み）と、有害性のパーセンテージに対する人間評価を用いる。
• ASR と計算コストの観点で最先端の GCG 攻撃と比較する。
• 複数回のサンプリング実行とデコード制約（長さペナルティ、悪用語/強制語）で攻撃を強化する。
• 生成認識型アライメントを提案し、生成ベースの jailbreak に対抗する効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 単純な生成設定の操作（敵対的なプロンプトなし）によって、オープンソース LLM にミスアライメントを引き起こすことができるか？
• RQ2 ミスアライメントはモデルファミリーおよび安全性整合/非整合のバリアント間でどのように変化するか？
• RQ3 提案された生成認識型アライメントの有効性とコストはどのくらいか？
• RQ4 同じ生成利用フレームワーク下で、商用モデルとオープンソースモデルはどう比較されるか？

主な発見

モデル	Greedy Decoding	Sampling-based Decoding (w/o sys. prompt)	w/ sys. prompt	w/o sys. prompt	Varied τ	Varied Top-K	Varied Top-p	全て
Vicuna-7B	50	62	92	95	95	97
Vicuna-13B	21	55	95	90	94	97
Vicuna-33B	42	50	94	94	93	96
MPT-7B	0	86	94	95	95	97
MPT-30B	0	91	95	96	97	98
Falcon-7B	5	75	95	92	95	95
Falcon-40B	7	72	95	93	94	95
LLaMA2-7B	14	85	94	93	96	97
LLaMA2-13B	34	83	96	95	96	97
LLaMA2-7B-chat_spadesuit	0	16	59	57	71	81
LLaMA2-13B-chat_spadesuit	0	8	73	66	66	88

• 生成利用攻撃により、11モデルのうち9モデルで ASR が>95%に達し、従来の SOTA 攻撃より約30倍少ない計算資源で達成。
• システムプロンプトを削除すると ASR が大幅に増加する（時には >10%）、システムプロンプトがないと従来の安全性整合が弱まる。
• 多様なデコード戦略（τ、Top-K、Top-p の変化）はモデル間で ASR を押し上げ、固定設定はリスクを過小評価している。
• LLaMA2-chat バリエーションは強い脆弱性を示し、複数のサンプリングと制約で ASR が >95% へ到達可能、RLHF 整合モデルの中にも依然として影響を受けるものがある。
• 複数回のサンプリングとデコード制約により、いくつかの設定で ASR を 100% まで引き上げられる（例：LLaMA2-7B-chat）。
• GCG（Zou ら、2023）は提案手法より劣っており、同様のタスクで約30倍遅い（約3分対約1.5時間）。
• 商用モデル（gpt-3.5-turbo）は同じ探索下での ASR がはるかに低く（約7%）、内容フィルタリングとレッドチーニングの差によると考えられる。
• 生成認識型アライメントは LLaMA2-7B-chat の実験で ASR を95%から69%に低減させる。