[論文レビュー] Detecting Adversarial Examples through Nonlinear Dimensionality Reduction

Francesco Crecchi, Davide Bacciu+1 more|arXiv (Cornell University)|Apr 30, 2019

Adversarial Robustness in Machine Learning参考文献 14被引用数 10

ひとこと要約

本稿では、深層ニューラルネットワークの特徴空間において自然入力と adversarial 入力を分離するために非線形次元削減に t-SNE を使用する、マルチレイヤー adversarial 例検出器を提案する。自然および adversarial サンプルの t-SNE 投影上で検出器を訓練することで、高い検出精度を達成した—FGSM、BIM、PGD 攻撃下でも MNIST で 0.8 以上、CIFAR10 で 0.7 以上の分類器精度を維持した—非適応的攻撃者に対して有効であることが示された。

ABSTRACT

Deep neural networks are vulnerable to adversarial examples, i.e., carefully-perturbed inputs aimed to mislead classification. This work proposes a detection method based on combining non-linear dimensionality reduction and density estimation techniques. Our empirical findings show that the proposed approach is able to effectively detect adversarial examples crafted by non-adaptive attackers, i.e., not specifically tuned to bypass the detection method. Given our promising results, we plan to extend our analysis to adaptive attackers in future work.

研究の動機と目的

• 安全に重要なアプリケーションにおける深層ニューラルネットワークの adversarial 例に対する脆弱性に対処すること。
• メイン分類器の再訓練なしに、マンフォールド外の adversarial 入力を特定・拒否する検出ベースの防御を構築すること。
• adversarial 例が高次元表現における自然データのマンフォールドの外にあることを示すことによって、マンフォールド仮説を検証すること。
• t-SNE 投影を活用して複数のネットワーク層で自然と adversarial サンプルを区別するマルチレイヤー検出器を設計すること。
• adversarial 訓練に比べて計算コストが低く、検出器セットアップ時に adversarial サンプルの生成を一度だけ行うことで、adversarial 訓練の代替手段を提供すること。

提案手法

• 本手法は、中間層からの高次元ニューラル活性化を、自然および adversarial サンプルが分離可能となる低次元空間（2次元または3次元）に t-SNE を用いて投影する。
• 各監視対象レイヤーに Layer Detector (LD) を付加し、Mapper（t-SNEに基づくもの）と Estimator（密度推定器）を用いて各サンプルのクラス確率を計算する。
• 検出器は複数のレイヤーにわたる確率スコアをデータ系列として集約し、MultilayerDetector (MLD) がその系列に異常な傾向がないか分析する。この異常な傾向が adversarial 入力を示す。
• adversarial サンプルは Carlini-Wagner 攻撃を一度だけ用いて生成され、Mapper のコンポーネントの学習に使用され、FGSM、BIM、PGD などの他の攻撃にも一般化可能である。
• MLD は異常なパターンが検出された場合、分類器の出力を特別な「adversarial」クラス（N+1）に上書きすることで、摂動を加えられた入力を拒否する。
• 本手法は、複数のレイヤーにわたる確率スコアの全系列を統合的な信号として扱い、adversarial 例が複数のレイヤーにわたり一貫性のない低信頼度の傾向を示すという事実を活用する。

実験結果

リサーチクエスチョン

• RQ1 t-SNE を用いた非線形次元削減は、深層ニューラルネットワークの特徴空間において自然例と adversarial 例を効果的に分離できるか？
• RQ2 t-SNE 投影と確率トレンド解析に基づくマルチレイヤー検出器アーキテクチャは、単一レイヤー手法に比べて adversarial 例検出性能を向上させるか？
• RQ3 Carlini-Wagner 攻撃で生成したデータで学習した検出器は、他の攻撃アルゴリズム（例：FGSM、BIM、PGD）で作成された adversarial 例を検出できるか？
• RQ4 検出器は、継続的でない摂動を加えた入力や、完全に自然な入力に対して分類器の精度をどの程度維持できるか？
• RQ5 非適応的攻撃者に対して本手法はどの程度有効であり、適応的攻撃者に対してはどのような限界があるか？

主な発見

• FGSM、BIM、PGD 攻撃（L2 ノルム摂動）下でも、MNIST データセットでは分類器精度が 0.8 を超え、CIFAR10 では 0.7 を超える。
• 自然および adversarial サンプルを混合して学習した t-SNE 投影は、2つのクラスを明確に分離するクラスタを形成し、マンフォールド仮説を裏付けた。
• 自然サンプルと adversarial サンプルの間で、複数のレイヤーにわたる確率スコアトレンドに顕著な差が見られた：自然サンプルは真のクラスに対して一貫した高い信頼度を示すが、adversarial サンプルは低く一貫性のないスコアを示す。
• adversarial 訓練とは異なり、本手法は検出器の学習時に adversarial サンプルの生成を一度だけ行う必要がある。
• Mapper の学習に使用された攻撃とは異なる攻撃アルゴリズム（例：FGSM、BIM、PGD）で作成された adversarial 例に対しても、検出器は正常に識別・拒否できた。これは一般化能力を示している。
• セキュリティ評価曲線から、検出器は摂動強度が増加しても精度を著しく維持するなど、耐性を顕著に向上させた。