[論文レビュー] PerD: Perturbation Sensitivity-based Neural Trojan Detection Framework on NLP Applications

Diego Garcia-soto, Huili Chen+1 more|arXiv (Cornell University)|Aug 8, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、入力にロバストネス認識摂動（RAP）を組み込み、モデル応答シグネチャを抽出することで摂動感受性を分析することにより、NLP応用向けのモデルレベル神経トロイの木検出フレームワークPerDを提案する。このフレームワークは、これらのシグネチャに基づいてトレーニングされたメタ・クラスファイアにより、感情分析、NER、QAタスクのあらゆる分野で高い精度でトロイの木を検出でき、TrojAIデータセットでは最高で100%のAUCを達成する。また、緩められたRAPトレiggersを用いることで、軽量なブラックボックスバージョンを実現し、検出時間を短縮しながらも性能を維持する。

ABSTRACT

Deep Neural Networks (DNNs) have been shown to be susceptible to Trojan attacks. Neural Trojan is a type of targeted poisoning attack that embeds the backdoor into the victim and is activated by the trigger in the input space. The increasing deployment of DNNs in critical systems and the surge of outsourcing DNN training (which makes Trojan attack easier) makes the detection of Trojan attacks necessary. While Neural Trojan detection has been studied in the image domain, there is a lack of solutions in the NLP domain. In this paper, we propose a model-level Trojan detection framework by analyzing the deviation of the model output when we introduce a specially crafted perturbation to the input. Particularly, we extract the model's responses to perturbed inputs as the `signature' of the model and train a meta-classifier to determine if a model is Trojaned based on its signature. We demonstrate the effectiveness of our proposed method on both a dataset of NLP models we create and a public dataset of Trojaned NLP models from TrojAI. Furthermore, we propose a lightweight variant of our detection method that reduces the detection time while preserving the detection rates.

研究の動機と目的

• NLPモデルにおけるバックドア攻撃の脅威が増大する中、特にモデルトレーニングの外部委託が進む状況に対処する。
• モデルパラメータや入力トレiggersにアクセスしないモデルレベルの検出手法を開発する。
• 感情分析、NER、質問応答など多様なNLPタスクにおいて効果的な検出を可能にする。
• 最適化されたRAPトレiggersの代わりにランダムノイズパターンを用いる軽量バージョンを導入し、検出時間を短縮しながらも高い検出率を維持する。
• モデルアーキテクチャ間のヒストグラム分布の類似性に基づき、アーキテクチャに依存しないとアーキテクチャに依存するメタ・クラスファイアの選択を防御者にガイドする。

提案手法

• フレームワークは、入力サンプルにロバストネス認識摂動（RAP）を注入することで、モデル応答のずれを引き出し、摂動感受性のシグネチャを形成する。
• 複数の摂動済み入力における信頼度スコアのずれのヒストグラムを構築し、モデルの応答シグネチャを表現する。
• メタ・クラスファイアは、応答シグネチャに基づいて健全モデルとトロイの木を搭載したモデルを区別するようにトレーニングされる。
• データ拡張は、IMDBやSquad_v2などの公開データセットからの入力を組み込むことで実施され、シグネチャの品質と検出精度が向上する。
• 軽量バージョンでは、最適化されたRAPトレiggersの代わりにランダムノイズパターンを用いることで、モデルパラメータにアクセスせずにブラックボックス運用が可能になる。
• 本手法は、アーキテクチャに依存しないとアーキテクチャに依存する両方のメタ・クラスファイアをサポートし、モデルアーキテクチャ間のヒストグラム類似性によって選択がガイドされる。

実験結果

リサーチクエスチョン

• RQ1 モデルパラメータや入力トレiggersにアクセスしない状況でも、摂動感受性を有効に活用してNLPモデル内の神経トロイの木を検出できるか？
• RQ2 公開データセットを用いたデータ拡張は、トロイの木検出のためのモデル応答シグネチャの精度をどのように向上させるか？
• RQ3 最適化されたRAPトレiggersの代わりに緩められたRAPトレiggersを用いる場合、検出精度と効率のトレードオフはどのように変化するか？
• RQ4 どのような条件下で、アーキテクチャに依存しないメタ・クラスファイアがアーキテクチャに依存するものよりも優れているか？
• RQ5 応答ずれヒストグラムの分布は、異なるNLPモデルアーキテクチャ間でどのように変化するか？ また、これはメタ・クラスファイア設計にどのように影響するか？

主な発見

• TrojAIの感情分析データセットでは、RAPトレiggersを用いたアーキテクチャに依存するメタ・クラスファイアにより、95.8%の精度と100%のAUCを達成した。
• 緩められたRAPトレiggersを用いた軽量バージョンは、検出時間を顕著に短縮しながらも高い性能を維持し、同じタスクで94.9%の精度と100%のAUCを達成した。
• IMDBなどの公開データセットを用いたデータ拡張により、特にRAPベースのシグネチャと組み合わせた場合、検出性能が向上した。
• 質問応答モデルでは、アーキテクチャに依存しないメタ・クラスファイアがアーキテクチャに依存するものよりも優れた性能を示した。これは、異なるアーキテクチャ間で応答ヒストグラムが非常に類似していたためである。
• 名前付きエンティティ抽出（NER）タスクでは、アーキテクチャに依存するメタ・クラスファイアがアーキテクチャに依存しないバージョンよりも優れた結果を示した。これは、モデルタイプごとにヒストグラム分布に顕著な差が存在したためである。
• 本研究は実証的ガイドラインを提供する：モデルアーキテクチャ間でヒストグラム分布の差が顕著に見られる場合はアーキテクチャに依存するメタ・クラスファイアを、そうでない場合は統一されたメタ・クラスファイアがより良い性能を発揮する。