[論文レビュー] ParaFuzz: An Interpretability-Driven Technique for Detecting Poisoned Samples in NLP

Yan Lü, Zhuo Zhang+5 more|arXiv (Cornell University)|Aug 4, 2023

Software Engineering Research被引用数 7

ひとこと要約

ParaFuzzは、ChatGPTを用いたプロンプト指向の言い換えとモデルの解釈可能性を活用し、言い換えの過程でトリガーを変異させることで、汚染されたNLPサンプルを検出するテスト時検出フレームワークである。ファズィングを用いてプロンプトを最適化し、平均F1スコア90.1%を達成しており、特に隠れた攻撃（例：Hidden Killer）に対してSTRIP、RAP、ONIONを著しく上回る性能を示している。

ABSTRACT

Backdoor attacks have emerged as a prominent threat to natural language processing (NLP) models, where the presence of specific triggers in the input can lead poisoned models to misclassify these inputs to predetermined target classes. Current detection mechanisms are limited by their inability to address more covert backdoor strategies, such as style-based attacks. In this work, we propose an innovative test-time poisoned sample detection framework that hinges on the interpretability of model predictions, grounded in the semantic meaning of inputs. We contend that triggers (e.g., infrequent words) are not supposed to fundamentally alter the underlying semantic meanings of poisoned samples as they want to stay stealthy. Based on this observation, we hypothesize that while the model's predictions for paraphrased clean samples should remain stable, predictions for poisoned samples should revert to their true labels upon the mutations applied to triggers during the paraphrasing process. We employ ChatGPT, a state-of-the-art large language model, as our paraphraser and formulate the trigger-removal task as a prompt engineering problem. We adopt fuzzing, a technique commonly used for unearthing software vulnerabilities, to discover optimal paraphrase prompts that can effectively eliminate triggers while concurrently maintaining input semantics. Experiments on 4 types of backdoor attacks, including the subtle style backdoors, and 4 distinct datasets demonstrate that our approach surpasses baseline methods, including STRIP, RAP, and ONION, in precision and recall.

研究の動機と目的

• 既存の検出手法が回避するスタイルベースおよび意味的トリガーを有する隠れたバックドア攻撃の検出におけるギャップを埋めること。
• トリガーの知識や挿入メカニズムの事前知識が不要なテスト時検出フレームワークの開発。
• 汚染されたサンプルがトリガーを変異させるとラベルが元に戻ることを活用し、クリーンなサンプルの意味的安定性と比較して、検出の精度と再現率を向上させること。
• 大規模言語モデル（例：ChatGPT）を用いて、トリガー除去をプロンプト工学の問題として定式化すること。

提案手法

• ParaFuzzは、汚染されたサンプルは言い換えによるトリガー除去で真のラベルに戻るべきであるが、クリーンなサンプルは予測が一貫することを仮説としている。
• ChatGPTを言い換えエンジンとして用い、入力サンプルの意味的保持された変種を生成し、その過程でトリガーを変異または削除する。
• 最適な言い換えプロンプトを探索問題として定式化し、ファズィングを用いて検出性能を最大化するプロンプトを探索・進化させる。
• ファズィングは、クリーンおよび汚染された検証セットに対するモデル予測のフィードバックによってガイドされ、F1スコアまたはミューテント数に達した段階で終了する。
• フレームワークはクリーンな検証セットとモデルクエリ能力へのアクセスを仮定しているが、トリガーの知識や学習データは不要である。
• 多様なシードに対する性能を正規化し、プロンプト最適化においてシードに依存しない有効性を示している。

実験結果

リサーチクエスチョン

• RQ1 モデルの解釈可能性を活用することで、トリガーや挿入メカニズムの事前知識がなくても汚染されたサンプルを検出できるか？
• RQ2 大規模言語モデルを用いたプロンプト指向言い換えは、バックドア攻撃を受けたNLPモデルにおける隠れたトリガーを効果的に露呈できるか？
• RQ3 ファズィングを言い換えプロンプトの最適化に効果的に適用できるか？
• RQ4 本手法は、スタイルベースやHidden Killer攻撃のような高度で隠れたバックドア攻撃に対しても効果を示すか？
• RQ5 プロンプト最適化プロセスの性能は、異なる初期シードプロンプトに対して頑健か？

主な発見

• ParaFuzzは4つのデータセットおよび4つの攻撃タイプにおいて平均F1スコア90.1%を達成し、同じベンチマークでSTRIP（36.3%）、RAP（80.3%）、ONION（11.9%）を著しく上回った。
• すべてのベースラインが検出できないHidden Killer攻撃に対し、ParaFuzzはF1スコア77.6%を達成し、最も隠れたバックドア戦略に対しても有効であることを示した。
• スタイルベース攻撃では、SST-2で89.6%、IMDBで93.4%のF1スコアを達成し、ONION（57.7%および94.2%）とSTRIP（13.7%および60.8%）を上回った。
• モデル#46およびモデル#36を含む多様なモデルにおいても、最適化されたプロンプトを用いることでF1スコアが常に90%以上を維持した。
• アブレーションスタディにより、ファズィングプロセスがシードに依存しないことが確認され、3つのランダムに選択されたシードプロンプトすべてがF1スコア90%以上に収束した。
• ONIONが失敗する長文トリガーや1文字トリガーに対しても、本手法は正常に検出でき、トリガの複雑さに対して高い頑健性を示した。