[論文レビュー] Characterizing Adversarial Subspaces Using Local Intrinsic Dimensionality

Xingjun Ma, Bo Li+7 more|arXiv (Cornell University)|Jan 8, 2018

Adversarial Robustness in Machine Learning参考文献 23被引用数 153

ひとこと要約

Local Intrinsic Dimensionality (LID) を導入し、DNNの敵対的領域を特徴づけ、LIDベースの検出が複数の攻撃とデータセットで KD/BU 検出器を上回ることを示す。

ABSTRACT

Deep Neural Networks (DNNs) have recently been shown to be vulnerable against adversarial examples, which are carefully crafted instances that can mislead DNNs to make errors during prediction. To better understand such attacks, a characterization is needed of the properties of regions (the so-called 'adversarial subspaces') in which adversarial examples lie. We tackle this challenge by characterizing the dimensional properties of adversarial regions, via the use of Local Intrinsic Dimensionality (LID). LID assesses the space-filling capability of the region surrounding a reference example, based on the distance distribution of the example to its neighbors. We first provide explanations about how adversarial perturbation can affect the LID characteristic of adversarial regions, and then show empirically that LID characteristics can facilitate the distinction of adversarial examples generated using state-of-the-art attacks. As a proof-of-concept, we show that a potential application of LID is to distinguish adversarial examples, and the preliminary results show that it can outperform several state-of-the-art detection measures by large margins for five attack strategies considered in this paper across three benchmark datasets. Our analysis of the LID characteristic for adversarial regions not only motivates new directions of effective adversarial defense, but also opens up more challenges for developing new attacks to better understand the vulnerabilities of DNNs.

研究の動機と目的

• DNN 表現内の敵対的領域を次元性に基づく理解で捉える動機づけ。
• 局所距離分布のための Local Intrinsic Dimensionality (LID) を提案・定義する。
• LID が層や攻撃を跨いで敵対的データと通常/ノイズデータを区別することを経験的に示す。
• LID ベースの検出器が複数のデータセットと攻撃で既存の KD および BU 検出器を上回ることを示す。
• 敵対的防御と攻撃分析への影響を論じる。

提案手法

• 基準点の周りの距離分布の局所成長に基づいて LID を定義する。
• k最近傍に対する最大似然推定器を用いて LID を推定する（式 Eq.4 の MLE 公式）。
• 活性化を特徴として用い、DNN のすべての変換層に渡って LID を計算する。
• 訓練データに対して敵対的およびノイズ対となるデータを生成し、LID ベース検出器を構築する。
• LID ベースの特徴を用いてロジスティック回帰分類器を訓練し、敵対的サンプルと通常/ノイズサンプルを分離する。
• MNIST、CIFAR-10、SVHN に対して 5 種類の攻撃（FGM、BIM-a、BIM-b、JSMA、Opt）で検出器を評価する。

実験結果

リサーチクエスチョン

• RQ1 LID は敵対的領域の固有の次元特性を捉えることができるか。
• RQ2 複数の攻撃とデータセットにわたって、LID ベースの特徴は敵対的入力と通常/ノイズ入力を区別するのに有効か。
• RQ3 LID の性能は DNN の層（畳み込み層 vs 密結合/ソフトマックス）および攻撃によってどう変化するか。
• RQ4 LID ベースの検出器は異なる攻撃戦略に跨って一般化するか。

主な発見

データセット	特徴	FGM	BIM-a	BIM-b	JSMA	Opt
MNIST	KD	78.12	98.14	98.61	68.77	95.15
MNIST	BU	32.37	91.55	25.46	88.74	71.30
MNIST	KD+BU	82.43	99.20	98.81	90.12	95.35
MNIST	LID	96.89	99.60	99.83	92.24	99.24
CIFAR-10	KD	64.92	68.38	98.70	85.77	91.35
CIFAR-10	BU	70.53	81.60	97.32	87.36	91.39
CIFAR-10	KD+BU	70.40	81.33	98.90	88.91	93.77
CIFAR-10	LID	82.38	82.51	99.78	95.87	98.94
SVHN	KD	70.39	77.18	99.57	86.46	87.41
SVHN	BU	86.78	84.07	86.93	91.33	87.13
SVHN	KD+BU	86.86	83.63	99.52	93.19	90.66
SVHN	LID	97.61	87.55	99.72	95.07	97.60

• 敵対的サンプルの LID 推定値は、通常またはノイズの例より一貫して高く、特に深い層で顕著である。
• LID ベース検出器は、テストしたすべての攻撃とデータセットで KD および BU 検出器を上回り、Opt 攻撃で MNIST の AUC が 99.24% を達成している。
• LID ベースの識別は異なるネットワーク層を横断して頑健であり、深い層でより強い分離を示す。
• 単純な攻撃（例: FGM）で訓練された検出器は、より複雑な攻撃を検出するために一般化できる。
• LID は KD よりパラメータの変動に安定で、データセット固有の調整を必要とする。
• 攻撃を超えて敵対的領域は類似した次元特性を共有し、クロスアタックの検出を可能にする。