[論文レビュー] Early Methods for Detecting Adversarial Images

Dan Hendrycks, Kevin Gimpel|arXiv (Cornell University)|Aug 1, 2016

Adversarial Robustness in Machine Learning参考文献 15被引用数 121

ひとこと要約

本論文は敵対的画像の検出器を三つ提案しており、PCAベースの係数分散、ソフトマックス分布分析、再構成ベースの検出を含み、複数のデータセットで強力な AUROC/AUPR を達成することを示している。

ABSTRACT

Many machine learning classifiers are vulnerable to adversarial perturbations. An adversarial perturbation modifies an input to change a classifier's prediction without causing the input to seem substantially different to human perception. We deploy three methods to detect adversarial images. Adversaries trying to bypass our detectors must make the adversarial image less pathological or they will fail trying. Our best detection method reveals that adversarial images place abnormal emphasis on the lower-ranked principal components from PCA. Other detectors and a colorful saliency map are in an appendix.

研究の動機と目的

• 敵対的摂動が人間には知覚できないまま分類器を誤らせるリスクを動機づける。
• 敵対的画像を識別しその病理を理解する検出器を開発する。
• ネットワークの決定の解釈性を改善するサリエンシーマップ手法を提供する。
• 敵対的攻撃に対するアンサンブル防御と前処理アイデアの有効性を示す。

提案手法

• PCA ホワイトニング検出器で、低次元PCA係数の分散を検出特徴として用いる。
• ソフトマックス分布ベースの検出器で、従来の誤分類およびアウト・オブ・ディストリビューションの例への拡張を敵対的画像に適用。
• 分類ロジットに条件付けられたデコーダーによって生成された再構成と入力画像を比較する再構成ベース検出器。
• 解釈性を改善するために別のバックプロパゲーション規則を用いた付録ベースのサリエンシーマップ。

実験結果

リサーチクエスチョン

• RQ1 ホワイトニング後の PCA係数の統計的性質を用いて、敵対的画像をクリーン画像と区別できるか？
• RQ2 敵対的画像は、クリーン画像やOODデータと比較して明確なソフトマックス分布を示すか？
• RQ3 分類情報を組み込んだ再構成誤差は、敵対的画像とクリーン画像を分離できるか？
• RQ4 改良されたサリエンシーマップは、敵対的摂動下でのネットワーク決定の説明をより明確に提供できるか？

主な発見

Dataset	高速勾配符号 AUROC	高速勾配符号 AUPR	反復 AUROC	反復 AUPR
Tiny-ImageNet	100.0	100.0	92.4	93.5
CIFAR-10	100.0	100.0	92.8	91.2
MNIST	100.0	100.0	100.0	100.0

• PCAホワイトニングされた敵対的画像は低順位主成分の分散が異常で、データセットを横断して信頼性のある検出を可能にする。
• 敵対的 examplesはクリーンな例と異なる特有のソフトマックス分布を示し、検出を助ける；生成を典型的KLダイバージェンスに制約すると誤認させる能力が低下する。
• ロジットを取り入れた再構成は敵対的画像に対して入力と再構成の差を大きくし、AUROC 96.2% および AUPR 96.6% を達成。
• デテクターのアンサンブルは、単一の検出器より適応攻撃に対して堅牢であると主張。
• 改良されたバックプロパゲーションによるサリエンシーマップは、分類決定の解釈性を改善する。