[論文レビュー] Gradient Similarity: An Explainable Approach to Detect Adversarial Attacks against Deep Learning

Jasjeet Dhaliwal, Saurabh Shintre|arXiv (Cornell University)|Jun 27, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用数 7

ひとこと要約

本論文は、勾配類似度（GS）を提案する。GSは、影響関数を用いて訓練データポイントがモデル予測に与える影響を測定することで、敵対的入力を検出する計算効率の良い指標である。GSにより、ロジスティック回帰検出器は未観測の攻撃に対してほぼ完璧なROC-AUC（95–100%）を達成し、MNISTにおけるホワイトボックス攻撃に対しても87–97%のAUCを達成する。敵対的攻撃者がモデルの完全なアクセス権を持っていても検出可能である。

ABSTRACT

Deep neural networks are susceptible to small-but-specific adversarial perturbations capable of deceiving the network. This vulnerability can lead to potentially harmful consequences in security-critical applications. To address this vulnerability, we propose a novel metric called \emph{Gradient Similarity} that allows us to capture the influence of training data on test inputs. We show that \emph{Gradient Similarity} behaves differently for normal and adversarial inputs, and enables us to detect a variety of adversarial attacks with a near perfect ROC-AUC of 95-100\%. Even white-box adversaries equipped with perfect knowledge of the system cannot bypass our detector easily. On the MNIST dataset, white-box attacks are either detected with a high ROC-AUC of 87-96\%, or require very high distortion to bypass our detector.

研究の動機と目的

• 深層ニューラルネットワークが、わずかな標的付きの敵対的摂動に対して極めて高い信頼度で誤分類を引き起こすという深刻な脆弱性に対処すること。
• 攻撃者がモデルのアーキテクチャやパラメータを完全に把握しているホワイトボックス攻撃を含め、ゼロ知識攻撃およびホワイトボックス攻撃の両方に対して耐性を持つ検出手法を開発すること。
• 影響関数を理論的基盤として用い、モデルの予測と訓練データの影響を結びつけることで、説明可能な検出器を構築すること。
• 影響に基づく検出の計算コストを削減するため、検出性能を維持しつつ、軽量なプロキシ指標「勾配類似度」を導入すること。
• クロスバリデーションを用いて、未知の攻撃手法に対する検出器の一般化能力を評価すること。

提案手法

• 影響関数の低コストな近似として、勾配類似度（GS）を提案する。GSは、テスト入力の損失関数の勾配と各訓練ポイントの損失関数の勾配とのコサイン類似度として計算される。
• 各テスト入力について、その勾配がすべての訓練ポイントの勾配とどれほど類似しているかを表す特徴ベクトルをGSを用いて計算し、訓練データがテスト予測に与える影響を捉える。
• GSから得られる特徴量を用いて、ロジスティック回帰分類器を訓練し、正常入力と敵対的入力を区別する。
• ホワイトボックス攻撃検出のため、しきい値ベースの検出器を採用。GS値を用いて、異常な影響パターンを示す入力を特定する。
• MNISTおよびCIFAR2データセットに本手法を適用し、FGSM、BIM、C&Wなど複数の攻撃タイプを、ゼロ知識およびホワイトボックスの脅威モデルの下で評価する。
• 未知の攻撃手法への一般化能力を検証するため、クロスバリデーションを実施。既知の攻撃パターンを超えた耐性を検証する。

実験結果

リサーチクエスチョン

• RQ1 訓練データポイントが正常入力と敵対的入力の両方の予測に与える影響の違いを特定することで、影響関数を敵対的入力の検出に用いることができるか？
• RQ2 計算コストが低いプロキシ指標（勾配類似度）は、高価な影響関数の計算を効果的に置き換えられ、検出精度を維持できるか？
• RQ3 モデルと攻撃目的を完全に把握しているホワイトボックス攻撃者に対しても、GSに基づく検出器は耐性を示せるか？
• RQ4 クロスバリデーションにより、以前に観測されていなかった敵対的攻撃手法に対しても検出器が一般化できるか？
• RQ5 MNISTでは良好な性能を示すが、CIFAR2では性能が著しく劣る理由は何か？その背後にあるデータ的要因や構造的要因は何か？

主な発見

• GSに基づく検出器は、多様な未観測の敵対的攻撃を検出する際、ROC-AUCが95–100%を達成し、優れた一般化能力を示した。
• MNISTデータセットでは、ホワイトボックス攻撃の検出にROC-AUCが87–97%を記録し、攻撃者がモデルの完全なアクセス権を持っていても高い耐性を示した。
• 検出器を回避するホワイトボックス攻撃は、顕著に高いL2ノルムの摂動を要するため、攻撃者がより目立つ変更を加える必要があることが示唆された。
• CIFAR2における検出器の性能は限定的で、AUCは50–59%にとどまり、主に訓練データポイントの数が少なく、入力空間のサポートが広いことが要因である。
• クロスバリデーションの実験から、検出器が新しい攻撃手法にうまく一般化することが確認され、特定の攻撃パターンを超えた敵対的入力の根本的特徴を捉えていることが示された。
• 本手法は元の深層ニューラルネットワークに対して最小限の変更で実装可能であり、ロバスト最適化や敵対的訓練と比較して、実世界への導入が実用的である。