[論文レビュー] When Not to Classify: Anomaly Detection of Attacks (ADA) on DNN Classifiers at Test Time

David J. Miller, Yulia Wang+1 more|arXiv (Cornell University)|Dec 18, 2017

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿は、ReLU活性化関数のサポートに適合した混合分布を用いてDNNの最終層直前特徴の連合密度をモデル化することで、テスト時における悪意ある回避攻撃を検出する非教師あり異常検出（AD）システムを提案する。本手法は、ソース/ディスティネーションクラスの概念と重み情報を利用したKullback-Leibler（KL）ダイバージェンスに基づく新たな意思決定統計量を導入し、Carlini-Wagner（CW）攻撃を含む複数の攻撃タイプにおいて、MNISTおよびCIFAR-10で最先端のAUC性能を達成した。

ABSTRACT

A significant threat to the recent, wide deployment of machine learning-based systems, including deep neural networks (DNNs), is adversarial learning attacks. We analyze possible test-time evasion-attack mechanisms and show that, in some important cases, when the image has been attacked, correctly classifying it has no utility: i) when the image to be attacked is (even arbitrarily) selected from the attacker's cache; ii) when the sole recipient of the classifier's decision is the attacker. Moreover, in some application domains and scenarios it is highly actionable to detect the attack irrespective of correctly classifying in the face of it (with classification still performed if no attack is detected). We hypothesize that, even if human-imperceptible, adversarial perturbations are machine-detectable. We propose a purely unsupervised anomaly detector (AD) that, unlike previous works: i) models the joint density of a deep layer using highly suitable null hypothesis density models (matched in particular to the non- negative support for RELU layers); ii) exploits multiple DNN layers; iii) leverages a "source" and "destination" class concept, source class uncertainty, the class confusion matrix, and DNN weight information in constructing a novel decision statistic grounded in the Kullback-Leibler divergence. Tested on MNIST and CIFAR-10 image databases under three prominent attack strategies, our approach outperforms previous detection methods, achieving strong ROC AUC detection accuracy on two attacks and better accuracy than recently reported for a variety of methods on the strongest (CW) attack. We also evaluate a fully white box attack on our system. Finally, we evaluate other important performance measures, such as classification accuracy, versus detection rate and attack strength.

研究の動機と目的

• DNN分類器に対するテスト時回避攻撃に対する防御メカニズムの欠如に起因するギャップを埋める。特に、攻撃下でも正しく分類されても機能的に無意味な状況を想定する。
• 人間が感知できないほど微細な摂動であっても、DNN特徴表現における統計的逸脱を活用して、悪意ある摂動を異常として検出する。
• ラベル付き攻撃データや攻撃パターンの事前知識を必要としない非教師ありADシステムを開発する。
• 複数のDNN層、クラスの混同行列、DNN重み情報を利用することで、検出のロバスト性を向上させる。
• 攻撃が検出された場合に、分類精度が保たれなくても安全なシステム応答（例：拒否または緩和）を可能にする検出メカニズムを提供する。

提案手法

• ReLUユニットの非負のサポートに適合した混合ガウス分布および一般化ガンマ分布を用いて、DNNの最終層直前特徴の連合密度をモデル化する。
• クリーンデータから導出されたノンモデルと、サンプルの経験的分布との間のKullback-Leibler（KL）ダイバージェンスに基づく新たな意思決定統計量を構築する。
• ソースクラスの不確実性と混同行列情報を組み込むことで、微細な摂動に対する感受性を向上させる。
• DNN重み情報を利用してノンモデルをキャリブレーションし、異常検出プロセスの統計的ロバスト性を強化する。
• 複数のDNN層における異常スコアを集約することで、複数層アプローチを採用し、検出の信頼性を向上させる。
• 訓練段階でラベル付きの悪意ある例を一切必要としない、完全に非教師ありの運用を実現する。

実験結果

リサーチクエスチョン

• RQ1 人間が感知できない摂動であっても、DNN内部表現における統計的異常として検出可能か？
• RQ2 ReLU活性化関数のサポートに適合した分布を用いてDNN特徴の連合密度をモデル化することで、異常検出性能が向上するか？
• RQ3 クラスの混同情報および重み情報で拡張されたKLダイバージェンスに基づく意思決定統計量は、既存の非教師ありAD手法を上回る性能を発揮するか？
• RQ4 本手法は、Carlini-Wagner（CW）攻撃を含む強力な最新鋭攻撃に対して効果的か？
• RQ5 正しく分類された入力が有用でない状況でも、攻撃を検出できるか？

主な発見

• 提案手法は、Carlini-Wagner（CW）攻撃を含む3つの代表的回避攻撃戦略において、MNISTおよびCIFAR-10で強力なROC AUC性能を達成した。
• CW攻撃において、最近報告された最先端手法を上回る検出精度を示し、優れたロバスト性を示した。
• 低強度攻撃に対しても高い検出率を維持し、クリーンサンプルの分類精度の低下を最小限に抑えた。
• 多層特徴表現と統計的に根拠のある意思決定統計量を活用することで、先行する非教師ありADアプローチを上回った。
• 完全な白ボックス攻撃をADシステムに対して評価した結果、防御メカニズムの完全な知識を有しても、検出器は依然として耐性を示した。
• 異なるDNNアーキテクチャにわたって良好な汎用性を示し、適切なノンモデルの適応を施せば、音声、ゲノム、IoTセンサデータなど画像以外の分野にも適用可能である。