[論文レビュー] Automatic and Universal Prompt Injection Attacks against Large Language Models

Xiaogeng Liu, Zhiyuan Yu+3 more|arXiv (Cornell University)|Mar 7, 2024

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本論文は、統一的で勾配ベースの方法を用いて、わずか five training samples だけで、静的、半動的、動的の複数の目的を上回る普遍的なプロンプト注入データを自動生成する方法を提案します。

ABSTRACT

Large Language Models (LLMs) excel in processing and generating human language, powered by their ability to interpret and follow instructions. However, their capabilities can be exploited through prompt injection attacks. These attacks manipulate LLM-integrated applications into producing responses aligned with the attacker's injected content, deviating from the user's actual requests. The substantial risks posed by these attacks underscore the need for a thorough understanding of the threats. Yet, research in this area faces challenges due to the lack of a unified goal for such attacks and their reliance on manually crafted prompts, complicating comprehensive assessments of prompt injection robustness. We introduce a unified framework for understanding the objectives of prompt injection attacks and present an automated gradient-based method for generating highly effective and universal prompt injection data, even in the face of defensive measures. With only five training samples (0.3% relative to the test data), our attack can achieve superior performance compared with baselines. Our findings emphasize the importance of gradient-based testing, which can avoid overestimation of robustness, especially for defense mechanisms.

研究の動機と目的

• 静的、半動的、動的といった従来の多様な目標を網羅するためのプロンプト注入攻撃の統一的な目的を定義する。
• 手作りのプロンプトに依存しない、自動的で普遍的な攻撃手法を開発する。
• 非常に少ない訓練サンプルで、データセットを横断した強い攻撃有効性と普遍性を示す。
• 既存の defenses に対する頑健性を評価し、手法がそれらを回避できることを示す。

提案手法

• 従来の攻撃目標を統一するために、静的、半動的、動的の三つのプロンプト注入目的を定式化する。
• 攻撃を、I、D、および注入Sを与えたときにターゲットの敵対的応答を出力させるようロスを最小化するものとして定義し、ターゲットの負対数尤度を用いる。
• オブジェクトリブ損失を最小化する置換を選択して、注入内容を反復的に置換するために、モーメンタム強化勾配探索を離散トークン上で用いる。
• 各目的に対してターゲット文を定義し、損失 J_RT を -log P(RT | I, D, S_1:k) として計算する。
• 訓練データのバッチ全体で勾配を計算し、G_t にモーメンタムデルタを適用し、上位 k 個の負の勾配からトークン置換を選択し、各反復で B 件の候補をサンプリングする。

実験結果

リサーチクエスチョン

• RQ1 統一的な目的は、プロンプト注入目標における既存の多様性をどのように捉えることができるか？
• RQ2 自動的で勾配ベースの方法は、指示とデータセット全体に有効な普遍的注入データを生成できるか？
• RQ3 モーメンタム強化最適化は、プロンプト注入攻撃の収束速度と解の品質にどのように影響するか？
• RQ4 パラフレーズ、再トークン化、データ分離などの防御は、自動的な普遍的プロンプト注入に耐性を示すか？
• RQ5 非常に少ない訓練データで、複数のタスクタイプに対して有効か？

主な発見

• 提案されたモーメンタム強化勾配法は、静的、半動的、動的の各目的において高い攻撃成功率を達成する。
• 訓練サンプルがわずか five（テストデータの 0.3%）で、攻撃は平均 ASR の改善を達成し、未見の指示に対しても有効性を維持する。
• アブレーションにより、モーメンタム戦略が収束速度と解の質を、ベースライン GCG と比べて平均約 21% 向上させることが示された。
• 攻撃は複数の防御に対して有効であり、適応的戦略（例：EOT）は防御に対する効果をさらに高める。
• 7つのNLPタスク（重複検出、文法訂正、ヘイト検出、NLI、感情分析、スパム、要約）での評価は、データセット横断の普遍性を示している。