[論文レビュー] Intention Analysis Makes LLMs A Good Jailbreak Defender

Yuqi Zhang, Liang Ding+2 more|arXiv (Cornell University)|Jan 12, 2024

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、推論時のみに機能する新規の防御手法である意図分析プロンプト（IAPrompt）を提案する。この手法は、応答を生成する前にユーザーの背後にある意図を事前に分析することで、LLMの安全性を向上させる。2段階のプロセス（意図分析 → 政策準拠の応答生成）を採用し、複数のモデルとベンチマークで平均46.5%のハイジャック攻撃成功率低下を達成したが、有用性は維持された。

ABSTRACT

Aligning large language models (LLMs) with human values, particularly when facing complex and stealthy jailbreak attacks, presents a formidable challenge. Unfortunately, existing methods often overlook this intrinsic nature of jailbreaks, which limits their effectiveness in such complex scenarios. In this study, we present a simple yet highly effective defense strategy, i.e., Intention Analysis ($\mathbb{IA}$). $\mathbb{IA}$ works by triggering LLMs' inherent self-correct and improve ability through a two-stage process: 1) analyzing the essential intention of the user input, and 2) providing final policy-aligned responses based on the first round conversation. Notably, $\mathbb{IA}$ is an inference-only method, thus could enhance LLM safety without compromising their helpfulness. Extensive experiments on varying jailbreak benchmarks across a wide range of LLMs show that $\mathbb{IA}$ could consistently and significantly reduce the harmfulness in responses (averagely -48.2% attack success rate). Encouragingly, with our $\mathbb{IA}$, Vicuna-7B even outperforms GPT-3.5 regarding attack success rate. We empirically demonstrate that, to some extent, $\mathbb{IA}$ is robust to errors in generated intentions. Further analyses reveal the underlying principle of $\mathbb{IA}$: suppressing LLM's tendency to follow jailbreak prompts, thereby enhancing safety.

研究の動機と目的

• LLMにおける従来のアライメント手法を回避する巧妙なハイジャック攻撃の増加する脅威に対処すること。
• ファインチューニングを必要とせず、モデルの有用性を損なわずに安全性を向上させる防御メカニズムを開発すること。
• LLMが内蔵する自己修正能力および意図理解能力を活用し、強固でスケーラブルな安全性を実現すること。
• 意図分析が、ユーザークエリにおける悪意のある意図を検出・緩和するためのコアな要素であることを検証すること。

提案手法

• IAPromptは2段階のプロンプトフレームワークを採用する：まず、モデルが安全性、倫理、法的要件に注目してユーザークエリの本質的意図を分析する。
• 2番目の段階では、1段階で得られた分析結果に基づいて、安全方針に準拠した応答を生成する。
• 段階的推論を促すためのChain-of-Thought（CoT）プロンプトを用いることで、解釈可能性が向上し、隠れた悪意ある意図の検出が容易になる。
• このアプローチは完全に推論ベースであり、モデルのファインチューニングや外部ツールを一切不要としており、コスト効率が高く、即時導入が可能である。
• 表面的なトークンではなく、意図に注目することで、LLM自身の推論能力を活用し、微細で巧妙なハイジャックプロンプトを検出する。
• Vicuna、ChatGLM、MPT、DeepSeek、GPT-3.5などの多様なモデルと、SAP200、DAN、AdvBenchなどのベンチマークで評価され、一貫した性能を示した。

実験結果

リサーチクエスチョン

• RQ1 LLMは外部監視なしに自己分析によって、ハイジャックプロンプト内の悪意ある意図を効果的に検出できるか？
• RQ2 2段階の意図分析と政策準拠応答メカニズムは、多様なモデルと攻撃タイプにおいて、攻撃成功率を顕著に低下させるか？
• RQ3 意図分析モデルの規模が性能に与える影響は何か？また、小型モデルでも効果的な検出に十分か？
• RQ4 IAPromptは、一般用途のベンチマークにおいて、安全性を向上させつつも、モデルの有用性をどの程度維持できるか？
• RQ5 LLMによる危害検出は、人間がアノテートした危害レベルとどの程度相関するか？

主な発見

• IAPromptはSAP200およびDANベンチマーク全体で平均46.5%の攻撃成功率低下（ASR）を達成し、強力で一貫性のある防御性能を示した。
• SAP200およびDANデータセットにおいて、IAPromptは有害応答率がほぼゼロにまで低下し、Vicuna-13BおよびVicuna-7Bモデルではそれぞれ0.31%および0.62%の攻撃成功率にまで低下した。
• TruthfulQAの結果により、有用性が維持されていることが確認され、一般性能に悪影響がないことが示された。
• Vicuna-7B、Vicuna-13B、MPT-30B-Chatなどのモデルは、意図分析で100%の成功を収めた。これは、隠れた悪意ある意図を検出する強力な能力を示している。
• 意図が正しく特定された場合、98.74%の応答が無害であった。これは、本手法が安全方針に強く整合していることを裏付けている。
• 人間による評価ではアノテーター間で97%の一致が得られ、GPT-3.5は通常モデルでは人間ラベルと99%、IAPromptでは93%の一致を示した。これは、信頼性の高い結果であることを示している。