[論文レビュー] Detecting Language Model Attacks with Perplexity

Gabriel Alon, Michael Kamfonas|arXiv (Cornell University)|Aug 27, 2023

Adversarial Robustness in Machine Learning被引用数 12

ひとこと要約

本論文は GPT-2 の perplexity のみでは敵対的プロンプトを十分に検出できないことを示す一方で、perplexity とトークン長さを用いる二特徴量の分類器（LightGBM 経由）が機械生成の敵対的サフィックス攻撃を効果的に識別できることを示している。人手で作成された jailbreak は依然として検出が難しい。

ABSTRACT

A novel hack involving Large Language Models (LLMs) has emerged, exploiting adversarial suffixes to deceive models into generating perilous responses. Such jailbreaks can trick LLMs into providing intricate instructions to a malicious user for creating explosives, orchestrating a bank heist, or facilitating the creation of offensive content. By evaluating the perplexity of queries with adversarial suffixes using an open-source LLM (GPT-2), we found that they have exceedingly high perplexity values. As we explored a broad range of regular (non-adversarial) prompt varieties, we concluded that false positives are a significant challenge for plain perplexity filtering. A Light-GBM trained on perplexity and token length resolved the false positives and correctly detected most adversarial attacks in the test set.

研究の動機と目的

• LLM のジャイルブレークのために生成された敵対的サフィックス攻撃を perplexity が検出できるかを評価する。
• 敵対的プロンプトと通常のプロンプトの perplexity の分布を調査する。
• 単純な perplexity フィルタリングより検出性能を向上させるため、perplexity とトークン列長を用いた分類器を開発する。
• 人間が作成した jailbreak プロンプトに直面した場合の限界を評価する。

提案手法

• 敵対的および非敵対的プロンプトの perplexity を GPT-2 を用いて算出する。
• perplexity とシーケンス長の関係を可視化し、クラス分離を評価する。
• 特徴量 {perplexity, トークン長} で LightGBM 分類器を学習し、訓練/検証/テストを 50/25/25 の分割とし、F2 スコアを最適化する。
• 評価指標として beta=2 の F-beta スコアを用い、脅威検知の再現率を重視する。
• 二特徴量分類器を単純な perplexity 厳しさ閾値ベースラインと比較する。
• 機械生成の敵対的プロンプトと人間が作成した敵対的プロンプトを別々に報告する。

実験結果

リサーチクエスチョン

• RQ1 perplexity の分布は、特に機械生成のサフィックス攻撃に対して、敵対的プロンプトと通常プロンプトを区別できるか。
• RQ2 perplexity にトークン長を加えることで、perplexity のみより検出性能が向上するか。
• RQ3 提案された分類器で人間が作成した jailbreak プロンプトは検出可能か。
• RQ4 異なる評価分割と閾値での検出性能はどうなるか。
• RQ5 防御が人間が作成した jailbreak と機械生成の攻撃に直面した場合の制約は何か。

主な発見

• 機械生成の敵対的プロンプトは perplexity 値が高く、ほとんどが1000を超えるため通常プロンプトとの分離を助ける。
• 二特徴量分類器（perplexity + トークン長）は、人間が作成したプロンプトを含めた場合、検証で F2 スコア 95.6%、テストで 94.2% を達成する。
• 人間が作成したプロンプトを除外すると、テストで F2 は 99.1% に上昇する。
• 単純な perplexity 閾値（例: 400 や 1000）では F2 スコアが大幅に低くなる（83.3–87.2% 対 GBM の 94.2%）。
• Jaramillo の人間作成 jailbreak プロンプト（GPT-4 jailbreaks）は本アプローチでは効果的に検出されず、非機械生成の攻撃に対する限界を示している。
• 単純な perplexity フィルタリングは perplexity 空間で通常プロンプトと重なるため、偽陽性・偽陰性が顕著である。