[論文レビュー] A Comprehensive Study of Jailbreak Attack versus Defense for Large Language Models

Zihao Xu, Yi Liu+3 more|arXiv (Cornell University)|Feb 21, 2024

Network Security and Intrusion Detection被引用数 11

ひとこと要約

この論文は九つの jailbreak 攻撃技法と七つの防御をLLM (Vicuna, LLaMA, GPT-3.5 Turbo) に対して体系的に評価し、テンプレートベースの攻撃がホワイトボックス手法を上回ることが多く、 Bergeron が試験対象の中で最も効果的な防御として示されている。

ABSTRACT

Large Language Models (LLMS) have increasingly become central to generating content with potential societal impacts. Notably, these models have demonstrated capabilities for generating content that could be deemed harmful. To mitigate these risks, researchers have adopted safety training techniques to align model outputs with societal values to curb the generation of malicious content. However, the phenomenon of "jailbreaking", where carefully crafted prompts elicit harmful responses from models, persists as a significant challenge. This research conducts a comprehensive analysis of existing studies on jailbreaking LLMs and their defense techniques. We meticulously investigate nine attack techniques and seven defense techniques applied across three distinct language models: Vicuna, LLama, and GPT-3.5 Turbo. We aim to evaluate the effectiveness of these attack and defense techniques. Our findings reveal that existing white-box attacks underperform compared to universal techniques and that including special tokens in the input significantly affects the likelihood of successful attacks. This research highlights the need to concentrate on the security facets of LLMs. Additionally, we contribute to the field by releasing our datasets and testing framework, aiming to foster further research into LLM security. We believe these contributions will facilitate the exploration of security measures within this domain.

研究の動機と目的

• 複数の LLM に対する多様な jailbreak 攻擊技法の有効性を評価する。
• これらの攻撃に対するさまざまな jailbreak 防御戦略の堅牢性を評価する。
• モデルタイプや入力トークンを含む、攻撃の成功に影響を与える要因を特定する。

提案手法

• オープンソースの情報源およびライブラリから nine の攻撃手法と seven の防御を基準として選定。
• OpenAI ガイドラインに沿った 60 の悪性クエリに拡張したベンチマークの構築。
• RoBERTa ベースの微調整モデルと手動検証を用いた悪性応答の分類。
• Attack Success Rate (ASR) および Efficiency を攻撃に、Defenses には DPR, BPR, GRQ を用いて評価。
• 三つのモデル (Vicuna, Llama-2, GPT-3.5 Turbo) の二つの GPU での二段階評価。
• ベンチマークプラットフォームとデータセットを含むオープンソースの成果物。

Figure 1: The workflow of our study

実験結果

リサーチクエスチョン

• RQ1 RQ1: 未保護の異なる LLM に対して jailbreak 攻撃技法の有効性はどの程度か？
• RQ2 RQ2: さまざまな LLM に対する jailbreak 攻撃に対して防御戦略の有効性は？

主な発見

• テンプレートベースの jailbreak アプローチは非常に有効で、特定のモデルでは生成的方法を上回ることが多い。
• GPTFuzz、Pair、TAP などの生成的攻撃は生成ベースの方法の中で最も効果的だが、ホワイトボックスアプローチは普遍的テンプレートと比べて効果が低い。
• LLaMA は Vicuna よりも固有の安全性防御力が強く、ホワイトボックス設定で jailbreak するのが難しい。
• 特定のトークン（たとえば特定の INST マーカー のような特別なトークン）は、テンプレートとモデルを横断して攻撃の成功率に大きく影響する。
• Bergeron は試験対象の中で最も効果的な防御として浮上する一方、多くの防御は悪意のあるプロンプトを防ぐことや善意のプロンプトを過度に制限することに苦戦している。
• 善意のプロンプトの誤分類を減らし堅牢性を向上させるための標準化された、スケーラブルな防御評価の必要性がある。

Figure 2: Loss of a random question