[論文レビュー] TAD: Trigger Approximation based Black-box Trojan Detection for AI

Xinqiao Zhang, Huili Chen+1 more|arXiv (Cornell University)|Feb 3, 2021

Adversarial Robustness in Machine Learning参考文献 13被引用数 9

ひとこと要約

TADは、入力空間内の空間的依存関係を活用して効率的な入力空間探索を可能にする、トリガー近似を用いた最初のブラックボックストロイダン検出フレームワークである。DNNにおけるバックドアを高速かつスケーラブルに検出可能であり、ポリゴンおよびInstagramフィルター形式のトリガーを対象として、TrojAIデータセットで0.91のROC-AUCを達成。1モデルあたりの平均検出時間は7.1分である。

ABSTRACT

An emerging amount of intelligent applications have been developed with the surge of Machine Learning (ML). Deep Neural Networks (DNNs) have demonstrated unprecedented performance across various fields such as medical diagnosis and autonomous driving. While DNNs are widely employed in security-sensitive fields, they are identified to be vulnerable to Neural Trojan (NT) attacks that are controlled and activated by the stealthy trigger. We call this vulnerable model adversarial artificial intelligence (AI). In this paper, we target to design a robust Trojan detection scheme that inspects whether a pre-trained AI model has been Trojaned before its deployment. Prior works are oblivious of the intrinsic property of trigger distribution and try to reconstruct the trigger pattern using simple heuristics, i.e., stimulating the given model to incorrect outputs. As a result, their detection time and effectiveness are limited. We leverage the observation that the pixel trigger typically features spatial dependency and propose TAD, the first trigger approximation based Trojan detection framework that enables fast and scalable search of the trigger in the input space. Furthermore, TAD can also detect Trojans embedded in the feature space where certain filter transformations are used to activate the Trojan. We perform extensive experiments to investigate the performance of the TAD across various datasets and ML models. Empirical results show that TAD achieves a ROC-AUC score of 0:91 on the public TrojAI dataset 1 and the average detection time per model is 7:1 minutes.

研究の動機と目的

• 事前学習済みDNNにおけるバックドアの迅速かつスケーラブルで耐障害性の高い検出のための重要なニーズに対処すること。
• ヒューリスティックなトリガー再構築に依存するか、ホワイトボックスアクセスを必要とする従来手法の制限を克服すること。
• 一元的で効率的なフレームワークを用いて、局所的ポリゴントリガーとグローバルなフィルター形式トリガー（例：Instagramフィルター）の両方を検出すること。
• 悪意のあるデータセットやモデルの微調整を必要とせず、多様なモデルアーキテクチャおよびデータセットにおいて検出を可能にすること。
• ランダム初期化やモデルのばらつきにもかかわらず、誤検出を低減し、検出の一貫性を向上させること。

提案手法

• TADは、ターゲットモデルをブラックボックスオракルとして扱い、空間的に一貫性のある摂動を用いて入力空間を探索することで、トリガー近似を実行する。
• 実際のトリガーがしばしば局所的なピクセル相関を示すことに着目し、トリガーを空間的依存パターンとしてモデル化する。
• 条件付き生成モデルを用いてトリガー分布を近似し、トロイの木馬行動を最大限に活性化する領域に焦点を当てる。
• Instagramフィルター攻撃の場合は、既知のフィルター変換（例：Gotham、Nashville）を候補トリガーとして適用し、その活性化確率を評価する。
• モデルの応答に基づいて導出されるポisons確率スコアを用いたしきい値ベースの検出メカニズムを採用する。
• トリガーのサイズしきい値（Tc = 3）やランダムな色試行回数（4回に設定）といったパrameterの調整により、検出精度と実行時間のバランスを動的に制御する。

実験結果

リサーチクエスチョン

• RQ1 訓練データやモデル重みにアクセスしないブラックボックス検出手法は、DNNにおけるバックドアを効率的かつ正確に同定できるか？
• RQ2 空間的依存性に基づくトリガー近似は、誤検出を低減し、検出速度を向上させるのにどの程度有効か？
• RQ3 同じフレームワークで、局所的ポリゴントリガーとグローバルなフィルター形式トリガーの両方を高精度で検出できるか？
• RQ4 TADは、TrojAIのような実世界のベンチマークを含む、多様なモデルアーキテクチャおよびデータセットにおいて、どの程度スケーラブルか？
• RQ5 ランダム初期化やトリガーのばらつきが、検出の一貫性と誤検出率に与える影響は何か？

主な発見

• TADは公開のTrojAIデータセットで0.91のROC-AUCスコアを達成し、優れた検出性能を示した。
• 1モデルあたりの平均検出時間は7.1分であり、Neural Cleans や DeepInspect よりも顕著に高速であった。
• TrojAIのホールドアウトセットでは、288のモデル（健全および汚染済みを含む）においてもROC-AUCが0.8924を維持した。
• Instagramフィルター形式トリガーを搭載したモデルの91.67%を正しく検出でき、テストデータでのCE-Lossは0.2884であった。
• 誤検出の主な原因は、トロイの木馬行動を模倣する「偽の健全モデル」であったため、さらなる区別技術の開発が求められる。
• ランダム初期化に対して高いロバストネスを示し、ランダムネスによるROC-AUCの差はわずか0.02にとどまり、これは許容可能な範囲であると判断された。