[論文レビュー] Jailbroken: How Does LLM Safety Training Fail?

Alexander Wei, Nika Haghtalab+1 more|arXiv (Cornell University)|Jul 5, 2023

Adversarial Robustness in Machine Learning被引用数 66

ひとこと要約

本稿はLLMの安全訓練の二つの失敗モードを特定する—競合する目的と一般化のズレ—そしてGPT-4やClaude v1.3といった最先端モデルがレッドチーミングと安全対策を講じても jailbreak には依然として脆弱であることを示す。

ABSTRACT

Large language models trained for safety and harmlessness remain susceptible to adversarial misuse, as evidenced by the prevalence of "jailbreak" attacks on early releases of ChatGPT that elicit undesired behavior. Going beyond recognition of the issue, we investigate why such attacks succeed and how they can be created. We hypothesize two failure modes of safety training: competing objectives and mismatched generalization. Competing objectives arise when a model's capabilities and safety goals conflict, while mismatched generalization occurs when safety training fails to generalize to a domain for which capabilities exist. We use these failure modes to guide jailbreak design and then evaluate state-of-the-art models, including OpenAI's GPT-4 and Anthropic's Claude v1.3, against both existing and newly designed attacks. We find that vulnerabilities persist despite the extensive red-teaming and safety-training efforts behind these models. Notably, new attacks utilizing our failure modes succeed on every prompt in a collection of unsafe requests from the models' red-teaming evaluation sets and outperform existing ad hoc jailbreaks. Our analysis emphasizes the need for safety-capability parity -- that safety mechanisms should be as sophisticated as the underlying model -- and argues against the idea that scaling alone can resolve these safety failure modes.

研究の動機と目的

• なぜ安全訓練を受けたLLMが jailbreaking されるのかを動機づけ、形式化する。
• jailbreaking の成功を説明する二つの失敗モード（競合する目的と一般化の不一致）を提案する。
• 多様な jailbreak に対してGPT-4、Claude v1.3、GPT-3.5 Turboを実証的に評価する。
• 安全性の改善が能力との同等性がないとスケールするほど貧弱であることを示す。

提案手法

• 良/悪/不明のラベルを用いて制限された行動と jailbreak の成功基準を定義する。
• 二つの失敗モードを特徴づけ、攻撃ファミリーを構築する（例：プレフィックス注入、拒否抑制、Base64難読化）。
• 二つの失敗モードに導かれたシンプルおよび組み合わせ jailbreak を作成し、それらをGPT-4、Claude v1.3、GPT-3.5 Turbo に対して評価する。
• 選定された red-teaming のプロンプトとより大きな合成プロンプトセットを用いて攻撃の一般化を評価する。
• 特定のプロンプト機能（例：プレフィックス、指示）の重要性を検証するアブレーションを実施する。
• 防御の含意を分析し、スケーリングを超えた安全性と能力の同等性を主張する。

実験結果

リサーチクエスチョン

• RQ1 LLM の jailbreaking を可能にする安全訓練の本質的な失敗モードは何か？
• RQ2 競合する目的と一般化の不一致を活用した新たに設計された jailbreak は、既存の攻撃を上回ることができるか？
• RQ3 現在の安全対策はGPT-4やClaude v1.3のようにより大規模で能力の高いモデルへ一般化できるか？
• RQ4 特定された失敗モードによって提案される防御戦略は何か、そして安全性のギャップを埋めるにはスケーリングだけで足りるのか？
• RQ5 攻撃の有効性はモデルの規模とアーキテクチャ（GPT-4、Claude v1.3、GPT-3.5 Turbo）によってどう変化するか？

主な発見

• 競合する目的と一般化の不一致に導かれた jailbreak 攻撃は、最先端モデル全体で高い成功を収める。
• キュレーションされたセットで、組み合わせ攻撃は高い Bad Bot 率を達成し（例：GPT-4 ~0.93）、防御側のGood Bot 率もかなりを示す（モデルにより異なる）。
• 適応型攻撃はキュレーション済みデータセットにおいてGPT-4とClaude v1.3の全 prompts にほぼ universal な成功を収める。
• 安全性の改善は jailbreak を完全に防げず、スケールだけでは失敗モードを解決せず、脆弱性の表面を移動させる可能性がある。
• LLMs の悪用に対抗するには安全性と能力の同等性が必要であると主張される。