[論文レビュー] Detection of Backdoors in Trained Classifiers Without Access to the Training Set

Zhen Xiang, David J. Miller+1 more|arXiv (Cornell University)|Aug 27, 2019

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

本論文は、学習データにアクセスできない状況下で、深層ニューラルネットワーク分類器における人間が感知できないバックドア攻撃を検出する、トレーニング後処理・教師なし異常検出手法を提案する。本手法は、クラスペア間の誤分類を誘発する最小の摂動を最適化することでバックドアを特定し、真のソース・ターゲットペアに対して顕著に小さな摂動が得られることを明らかにし、1つのハイパーパrameter閾値で多様なデータセットおよび攻撃パターンにおいて堅牢な検出を達成する。

ABSTRACT

Recently, a special type of data poisoning (DP) attack targeting Deep Neural Network (DNN) classifiers, known as a backdoor, was proposed. These attacks do not seek to degrade classification accuracy, but rather to have the classifier learn to classify to a target class whenever the backdoor pattern is present in a test example. Launching backdoor attacks does not require knowledge of the classifier or its training process - it only needs the ability to poison the training set with (a sufficient number of) exemplars containing a sufficiently strong backdoor pattern (labeled with the target class). Here we address post-training detection of backdoor attacks in DNN image classifiers, seldom considered in existing works, wherein the defender does not have access to the poisoned training set, but only to the trained classifier itself, as well as to clean examples from the classification domain. This is an important scenario because a trained classifier may be the basis of e.g. a phone app that will be shared with many users. Detecting backdoors post-training may thus reveal a widespread attack. We propose a purely unsupervised anomaly detection (AD) defense against imperceptible backdoor attacks that: i) detects whether the trained DNN has been backdoor-attacked; ii) infers the source and target classes involved in a detected attack; iii) we even demonstrate it is possible to accurately estimate the backdoor pattern. We test our AD approach, in comparison with alternative defenses, for several backdoor patterns, data sets, and attack settings and demonstrate its favorability. Our defense essentially requires setting a single hyperparameter (the detection threshold), which can e.g. be chosen to fix the system's false positive rate.

研究の動機と目的

• トレーニングデータが入手不可な状況下で、DNN分類器におけるバックドア攻撃をトレーニング後検出すること。
• 攻撃に関する事前知識なしに、バックドア攻撃に関与するソースおよびターゲットクラスを特定すること。
• 訓練済みモデルとクリーンなテスト例のみを用いて、バックドアパターン自体を推定すること。
• 完全に教師なしで、多様なバックドアメカニズムおよびデータセットに耐性を持つ防御を構築すること。

提案手法

• 本手法は、すべての (s,t) ペアについて、クラス s のクリーンな例をクラス t に誤分類させる最小ノルムの摂動を特定するための摂動最適化を実行する。
• 誤分類を誘発するための最小摂動を求めるために、コスト関数の最小化フレームワークを用いる。
• 各 (s,t) ペアについて、クラス s のクリーン画像を用い、摂動ノルムを最小化する摂動最適化問題を解く。
• 本手法は、真のバックドアペア (s*,t*) が非バックドアペアよりも顕著に小さな摂動を要するという仮説を活用する。
• すべてのクラスペア間の摂動ノルムを比較し、異常を検出するために、新規で堅牢な仮説検定戦略を採用する。
• 防御には、1つの検出閾値のチューニングのみが必要であり、これは誤検出率を制御するために設定可能である。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータが入手不可な状況下で、DNNにおけるバックドア攻撃をトレーニング後検出可能か？
• RQ2 攻撃に関する事前知識なしに、バックドア攻撃のソースおよびターゲットクラスを推定可能か？
• RQ3 真のバックドアペアに対して誤分類を誘発するための最小摂動は、非バックドアペアに比べ顕著に小さいか？
• RQ4 本手法は、さまざまなバックドアパターン、データセット、攻撃メカニズムに対してどれほど堅牢か？
• RQ5 本手法は、入力空間における勾配ベース最適化に依存せずにバックドアを検出可能か、あるいは非画像入力に対しても拡張可能か？

主な発見

• 提案手法は、CIFAR-10、SVHN、Tiny ImageNet などの複数のデータセットで、高い検出精度を達成し、バックドア攻撃を効果的に検出できた。
• 真のバックドアペア (s*,t*) の最小摂動ノルムは、他のすべての (s,t) ペアよりも一貫して顕著に小さく、コア仮説が妥当であることを裏付けた。
• 人間が感知できないバックドアパターンでさえも、すべてのテスト攻撃シナリオにおいて正しくソースおよびターゲットクラスを特定できた。
• グループ誤分類問題ではなく、K(K-1) 個の単一クラス摂動問題を解くことで、従来手法よりも計算コストが低減された。
• 攻撃者が加法的・乗法的、あるいはその他の摂動メカニズムを用いても、メカニズムの知識なしに防御が有効に機能した。
• 多様な攻撃設定において、最先端のトレーニング後防御よりも、堅牢性および検出信頼性の面で優れている。