[論文レビュー] Detecting Adversarial Examples via Neural Fingerprinting

Sumanth Dathathri, Stephan Zheng+3 more|arXiv (Cornell University)|Mar 11, 2018

Adversarial Robustness in Machine Learning参考文献 45被引用数 8

ひとこと要約

この論文は、訓練中に一意でランダム化されたフォグプリントを深層ニューラルネットワークに埋め込むことで、敵対的例を検出する手法であるNeural Fingerprinting (NFP)を提案する。事前に定義された摂動に対するモデル出力の一貫性を、埋め込まれたフォグプリントと照合することで検証する。NFPは、MNIST、CIFAR-10、MiniImageNetにおける多様なグレイボックスおよびブラックボックス攻撃の下で、98–100%のAUC-ROCを達成し、計算オーバーヘッドを最小限に抑えつつ、最先端の検出性能を示している。

ABSTRACT

Deep neural networks are vulnerable to adversarial examples, which dramatically alter model output using small input changes. We propose Neural Fingerprinting, a simple, yet effective method to detect adversarial examples by verifying whether model behavior is consistent with a set of secret fingerprints, inspired by the use of biometric and cryptographic signatures. The benefits of our method are that 1) it is fast, 2) it is prohibitively expensive for an attacker to reverse-engineer which fingerprints were used, and 3) it does not assume knowledge of the adversary. In this work, we pose a formal framework to analyze fingerprints under various threat models, and characterize Neural Fingerprinting for linear models. For complex neural networks, we empirically demonstrate that Neural Fingerprinting significantly improves on state-of-the-art detection mechanisms by detecting the strongest known adversarial attacks with 98-100% AUC-ROC scores on the MNIST, CIFAR-10 and MiniImagenet (20 classes) datasets. In particular, the detection accuracy of Neural Fingerprinting generalizes well to unseen test-data under various black- and whitebox threat models, and is robust over a wide range of hyperparameters and choices of fingerprints.

研究の動機と目的

• 深層ニューラルネットワークが、深刻な誤分類を引き起こす敵対的例に対して脆弱であるという問題に対処すること。
• 攻撃者が防御機構に限られたアクセスまたは完全にアクセスできないグレイボックスおよびブラックボックスの脅威モデルにおいても有効な検出メカニズムを開発すること。
• 攻撃タイプに依存しない方法を構築し、補助分類器や複雑な再訓練を必要としないこと。
• 期待値変換（EOT）やホワイトボックス適応攻撃を含む、適応的攻撃に対する耐性を評価すること。
• 未学習データへのフォグプリントの一般化を示し、敵対的例とは明確に分離されることを維持すること。

提案手法

• NFPは、実データ周辺のモデル予測応答に、ランダムでバイオメトリクスに類似したフォグプリントを、小さな摂動 $\Delta x$ および $\Delta y$ を用いて訓練中に符号化する。
• この方法は、モデルがこれらの摂動に対する感度が期待されるフォグプリントパターンと一致するかを検証し、本物の入力と敵対的入力の整合性チェックとして機能する。
• フォグプリントは分布 $T_{\Delta x}$ および $T_{\Delta y}$ から導出され、推論時にはモデルに共有されない。
• 検出は、訓練時に学習した基準フォグプリントパターンと、テスト入力周辺のモデル応答を比較することで実施される。
• 防御の評価には、閾値 $\tau$ を変化させたAUC-ROCが用いられ、スコアが高いほどクリーンデータと敵対的データの分離が良好であることを示す。
• NFPの限界をテストするため、分類誤りを誘発しながらフォグプリント損失を最小化する、適応的ホワイトボックス攻撃が開発された。

実験結果

リサーチクエスチョン

• RQ1 訓練時におけるランダムフォグプリントの単純な埋め込みは、グレイボックスおよびブラックボックス環境下で、多様な攻撃タイプの敵対的例を検出可能か？
• RQ2 フォグプリント分布の知識や期待値変換（EOT）技術を活用する適応的攻撃に対して、NFPはどれほど耐性があるか？
• RQ3 NFPは、フォグプリントサイズ $N$ や摂動の大きさ $\varepsilon$ を含む、さまざまなデータセットおよびハイパーパrameter設定においても高い検出性能を維持できるか？
• RQ4 未知の攻撃メカニズム下で、LID、KD、BUといった最先端の検出ベースラインと比較して、NFPのAUC-ROC性能はどのように異なるか？
• RQ5 新たな適応的ホワイトボックス攻撃がNFPを回避できるか？ これはフォグプリントベースの防御のセキュリティに何を示唆するか？

主な発見

• NFPは、FGSM、BIM、JSMA、CW-L2を含む、多様な敵対的攻撃の下で、MNIST、CIFAR-10、MiniImageNet（20クラス）で98–100%のAUC-ROCを達成した。
• CIFAR-10では、NFPはLID平均で11.77%優れており、KD+BU、KD、BUの検出性能を著しく上回った。
• LIDホワイトボックス（LIDが攻撃メカニズムを把握している状態）と比較しても、NFPは平均で8.0%優れていた。
• NFPは $N$ や $\varepsilon$ の広い範囲のハイパーパramータにおいても高い性能を維持しており、図5および図7で示された。
• N=20、$\varepsilon=0.05$ の条件下で、MiniImageNet-20では>99.5%のAUC-ROCを達成し、FGSMでは99.96%、BIM-bでは99.68%を記録した。
• 攻撃者が同じ分布からフォグプリントをサンプリングするEOT風攻撃に対しても、NFPは依然として耐性を示し、フォグプリント生成に関する部分的知識がある場合でさえも、耐性があることを示した。