[論文レビュー] Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information

Zhengmian Hu, Gang Wu+5 more|arXiv (Cornell University)|Nov 20, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文では、大規模言語モデル（LLM）における悪意ある入力を特定するために、周辺トークンからの文脈情報とパープレキシティを活用したトークンレベルの敵対的プロンプト検出手法を提案する。最適化手法と確率的グラフィカルモデル（PGM）の両方を組み合わせることで、GPT-2-smallのような小さなモデルですら高い検出精度を達成し、可視化されたヒートマップの重ね合わせによって敵対的シーケンスを明確に特定できることを示した。

ABSTRACT

In recent years, Large Language Models (LLM) have emerged as pivotal tools in various applications. However, these models are susceptible to adversarial prompt attacks, where attackers can carefully curate input strings that mislead LLMs into generating incorrect or undesired outputs. Previous work has revealed that with relatively simple yet effective attacks based on discrete optimization, it is possible to generate adversarial prompts that bypass moderation and alignment of the models. This vulnerability to adversarial prompts underscores a significant concern regarding the robustness and reliability of LLMs. Our work aims to address this concern by introducing a novel approach to detecting adversarial prompts at a token level, leveraging the LLM's capability to predict the next token's probability. We measure the degree of the model's perplexity, where tokens predicted with high probability are considered normal, and those exhibiting high perplexity are flagged as adversarial. Additionaly, our method also integrates context understanding by incorporating neighboring token information to encourage the detection of contiguous adversarial prompt sequences. To this end, we design two algorithms for adversarial prompt detection: one based on optimization techniques and another on Probabilistic Graphical Models (PGM). Both methods are equipped with efficient solving methods, ensuring efficient adversarial prompt detection. Our token-level detection result can be visualized as heatmap overlays on the text sequence, allowing for a clearer and more intuitive representation of which part of the text may contain adversarial prompts.

研究の動機と目的

• 大規模言語モデル（LLM）が、巧みに設計された入力によってモデル出力を操作される脆弱性に対処すること。
• シーケンスレベルではなくトークンレベルで敵対的プロンプトを検出することで、悪意あるコンテンツの正確な局所化を可能にすること。
• 隣接するトークンからの文脈的情報とパープレキシティスコアを統合することで、検出の信頼性を向上させること。
• 高コストな計算を伴わず、実世界のLLMシステムに容易に統合可能な効率的で軽量な検出手法を開発すること。

提案手法

• 言語モデルが予測する次トークンの確率を活用し、敵対的出現の可能性を示すコア指標としてトークンレベルのパープレキシティを計算する。
• 隣接するトークンからの文脈的情報を統合することで、連続する敵対的シーケンスの検出を強化し、散在的または微細な攻撃に対しても耐性を高める。
• 最適化技術に基づく手法と、結合確率推定に使用する確率的グラフィカルモデル（PGM）の2種類の異なる検出アルゴリズムを採用する。
• 入力テキスト上にヒートマップの重ね合わせを用いて検出結果を可視化し、色の濃さで各トークンが敵対的である可能性を示す。
• 計算コストを抑えるために、GPT-2-small（124Mパラメータ）をベースモデルとして採用し、広範な展開性を確保する。
• パープレキシティの集約とスムージング技術を適用することで、検出の安定性を向上させ、誤検出を低減する。

実験結果

リサーチクエスチョン

• RQ1 トークンレベルでのパープレキシティは、LLMにおける敵対的プロンプトと通常の入力を信頼性高く区別できるか？
• RQ2 隣接するトークンの文脈情報を組み込むことで、連続する敵対的シーケンスの検出性能がどのように向上するか？
• RQ3 計算コストを抑えながら、精度を損なわずに小さな言語モデルを用いた効率的で軽量な検出システムを構築可能か？
• RQ4 最適化に基づく手法とPGMに基づく手法は、精度と局所化能において、シーケンスレベルのアプローチをどの程度上回るか？
• RQ5 離散的最適化を用いて生成された敵対的プロンプトの検出において、本手法はどの程度効果的か？

主な発見

• GPT-2-smallを用いたシーケンスレベルの敵対的プロンプト検出において、本手法は完璧な性能を達成しており、シーケンスレベルでの信頼性が極めて高いことが示された。
• パープレキシティと文脈に配慮した分析を用いたトークンレベル検出は、複雑で最適化された攻撃パターンに対しても、高い精度で敵対的トークンを特定できた。
• PGMに基づく手法は、隣接するトークン間の依存関係を効果的にモデル化できており、複数トークンにわたる敵対的シーケンスの検出性能が向上した。
• 最適化に基づくアプローチは、低インファレンスオーバーヘッドで効率的かつスケーラブルな検出を可能にし、リアルタイム展開に適している。
• ヒートマップの可視化により、入力テキスト内の敵対的領域が明確に強調され、開発者やセキュリティチームにとって解釈可能で実行可能なインサイトを提供した。
• 本手法は、GPT-2-smallのような小規模でリソース効率の良いモデルに対しても高い精度を維持しており、ハードウェアおよび計算リソースの要件を顕著に低減した。