[論文レビュー] Tricking LLMs into Disobedience: Formalizing, Analyzing, and Detecting Jailbreaks

Abhinav Rao, Sachin Vashistha+3 more|arXiv (Cornell University)|May 24, 2023

Digital and Cyber Forensics被引用数 15

ひとこと要約

本論文はLLMにおける jailbreaks（プロンプト注入）を正式化し、分類法と形式的設定を提案し、様々なモデルにわたる攻撃の有効性を調査し、軽量なガードレールと検出戦略について論じる。

ABSTRACT

Recent explorations with commercial Large Language Models (LLMs) have shown that non-expert users can jailbreak LLMs by simply manipulating their prompts; resulting in degenerate output behavior, privacy and security breaches, offensive outputs, and violations of content regulator policies. Limited studies have been conducted to formalize and analyze these attacks and their mitigations. We bridge this gap by proposing a formalism and a taxonomy of known (and possible) jailbreaks. We survey existing jailbreak methods and their effectiveness on open-source and commercial LLMs (such as GPT-based models, OPT, BLOOM, and FLAN-T5-XXL). We further discuss the challenges of jailbreak detection in terms of their effectiveness against known attacks. For further analysis, we release a dataset of model outputs across 3700 jailbreak prompts over 4 tasks.

研究の動機と目的

• 複数のアクターによる設定で jailbreak 問題を prompt-injection として正式化する。
• jailbreak の種類、意図、攻撃手段の分類法を構築する。
• 複数のモデルとタスクにわたって攻撃の有効性を実証的に評価する。
• 制限付きの prompt-guard 戦略を提案し、その緩和効果を評価する。
• jailbreaks の検出と防御の課題について議論する。

提案手法

• プロンプトメーカー、エンドユーザー、およびミスアライメント/攻撃概念を含む形式的なプロンプトフレームワークを定義する。
• 言語的変換、攻撃者の意図、および攻撃の手法に基づいて jailbreak を分類する。
• タスク間の攻撃によるタスク乖離を測定する性質テストを設計・実行する（翻訳、分類、コード生成、要約）およびモデル（OPT、BLOOM、GPT-3.5、FLAN-T5-xxl）に適用する。
• ベースプロンプトと49個の手作り攻撃プロンプトを用いて、タスクとモデル全体で攻撃成功を評価する。
• 性能差を説明し、ガードレールの有効性（プロンプト整形とチェックサム）を特定するために、定性的なモデル挙動を分析する。
• 限られた緩和戦略（バッチプロンプトガード、チェックサムガード）とそれらの観察された効果について論じる。

Figure 1: A jailbreaking pipeline. (Attack borrowed from a social media post 2 2 2 shorturl.at/hjkmX )

実験結果

リサーチクエスチョン

• RQ1 LLMにおける jailbreak を、変換タイプ、意図、および攻撃手法を横断してどのように正式化・分類できるか？
• RQ2 さまざまなモデルやタスクにおいて、さまざまな jailbreak の有効性はどの程度か？
• RQ3 jailbreak を緩和できる軽量な防御（prompt guards）は何か、どの程度有効か？
• RQ4 モデルサイズ、訓練、アーキテクチャといった要因が jailbreak への頑健性にどう影響するか？

主な発見

• 認知的ハッキングは、試験対象の中で最も成功した攻撃タイプであり、現実の jailbreak にも最も一般的である。
• 分類タスクでは、テスト条件下での jailbreak の成功は見られなかった一方で、他のタスクはより脆弱だった。
• FLAN-T5-XXL は、ほとんどの軸で OPT および BLOOM と比較して全般的に成績が悪く、要約での攻撃成功率が特に低かった。
• GPT-3.5 text-davinci-003 は多くの攻撃に対してより頑健であるように見え、訓練からのより強力な整合性または頑健性を示唆する。
• Prompt guards（特に text-davinci-003 に対して）は Direct Instruction 攻撃に対して有効であり、実用的な緩和策の可能性を示す。
• 本研究は、サニタイズ、前処理の必要性と、防御設計におけるモデル機能とセキュリティのトレードオフを認識する必要性を強調している。

Figure 2: Setup describing the attack process and manner of attack