[논문 리뷰] Characterizing Adversarial Subspaces Using Local Intrinsic Dimensionality

Xingjun Ma, Bo Li외 7명|arXiv (Cornell University)|2018. 01. 08.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 153

한 줄 요약

로컬 고유 차원성(LID)을 도입하여 DNN의 적대적 영역을 특징지하고 LID 기반 탐지가 여러 공격과 데이터셋에서 KD/BU 탐지기보다 우수하다는 것을 실증합니다.

ABSTRACT

Deep Neural Networks (DNNs) have recently been shown to be vulnerable against adversarial examples, which are carefully crafted instances that can mislead DNNs to make errors during prediction. To better understand such attacks, a characterization is needed of the properties of regions (the so-called 'adversarial subspaces') in which adversarial examples lie. We tackle this challenge by characterizing the dimensional properties of adversarial regions, via the use of Local Intrinsic Dimensionality (LID). LID assesses the space-filling capability of the region surrounding a reference example, based on the distance distribution of the example to its neighbors. We first provide explanations about how adversarial perturbation can affect the LID characteristic of adversarial regions, and then show empirically that LID characteristics can facilitate the distinction of adversarial examples generated using state-of-the-art attacks. As a proof-of-concept, we show that a potential application of LID is to distinguish adversarial examples, and the preliminary results show that it can outperform several state-of-the-art detection measures by large margins for five attack strategies considered in this paper across three benchmark datasets. Our analysis of the LID characteristic for adversarial regions not only motivates new directions of effective adversarial defense, but also opens up more challenges for developing new attacks to better understand the vulnerabilities of DNNs.

연구 동기 및 목표

• DNN 표현 내의 적대적 영역에 대한 차원 기반 이해를 동기 부여합니다.
• 로컬 거리 분포를 위한 Local Intrinsic Dimensionality(LID)를 정의합니다.
• 레이어와 공격에 걸쳐 LID가 적대적 샘플과 정상/노이즈 데이터 구분에 효과적임을 경험적으로 보여줍니다.
• 다중 데이터셋과 공격에서 LID 기반 탐지기가 기존 KD 및 BU 탐지기를 능가할 수 있음을 보여줍니다.
• 적대적 방어 및 공격 분석에 대한 시사점을 논의합니다.

제안 방법

• 참조 포인트 주변 거리 분포의 로컬 성장을 기반으로 LID를 정의합니다.
• Eq. 4의 최대우도추정(MLE) 공식을 사용하여 k 최근 이웃에서 LID를 추정합니다.
• 활성화를 특징으로 사용하여 DNN의 모든 변환 계층에서 LID를 계산합니다.
• 학습 데이터를 위한 LID 기반 탐지기를 구축하기 위해 적대적 및 노이즈 반대 샘플을 생성합니다.
• LID 기반 특징을 사용하여 로지스틱 회귀 분류기를 훈련시키고 적대적 샘플과 정상/노이즈 샘플을 구분합니다.
• MNIST, CIFAR-10, SVHN에서 다섯 가지 공격(FGM, BIM-a, BIM-b, JSMA, Opt)에 대해 탐지기를 평가합니다.

실험 결과

연구 질문

• RQ1 LID가 적대적 영역의 본질 차원 특성을 포착할 수 있는가?
• RQ2 여러 공격과 데이터셋에서 LID 기반 특징이 적대적 입력과 정상/노이즈 입력을 구분하는 데 효과적인가?
• RQ3 LID 성능은 DNN 계층(합성곱 vs 조밀/소프트맥스) 및 공격에 따라 어떻게 달라지는가?
• RQ4 LID 기반 탐지기가 다양한 공격 전략에 대해 일반화되는가?

주요 결과

데이터세트	특징	FGM	BIM-a	BIM-b	JSMA	Opt
MNIST	KD	78.12	98.14	98.61	68.77	95.15
MNIST	BU	32.37	91.55	25.46	88.74	71.30
MNIST	KD+BU	82.43	99.20	98.81	90.12	95.35
MNIST	LID	96.89	99.60	99.83	92.24	99.24
CIFAR-10	KD	64.92	68.38	98.70	85.77	91.35
CIFAR-10	BU	70.53	81.60	97.32	87.36	91.39
CIFAR-10	KD+BU	70.40	81.33	98.90	88.91	93.77
CIFAR-10	LID	82.38	82.51	99.78	95.87	98.94
SVHN	KD	70.39	77.18	99.57	86.46	87.41
SVHN	BU	86.78	84.07	86.93	91.33	87.13
SVHN	KD+BU	86.86	83.63	99.52	93.19	90.66
SVHN	LID	97.61	87.55	99.72	95.07	97.60

• 적대적 예제에 대한 LID 추정값이 일반적으로 정상 또는 노이즈 예제보다 더 높게 나타나며, 특히 더 깊은 계층에서 그렇다.
• LID 기반 탐지기가 모든 tested 공격과 데이터셋에서 KD 및 BU 탐지기를 능가하며, Opt 공격은 MNIST에서 99.24% AUC를 달성합니다.
• LID 기반 구분은 서로 다른 네트워크 계층에서도 견고하며, 깊은 계층에서 더 강한 구분을 보입니다.
• 간단한 공격(FGM 등)으로 학습된 탐지기가 더 복잡한 공격을 탐지하는 데 일반화될 수 있습니다.
• KD보다 매개변수 변화에 더 안정적이며 데이터셋에 특화된 튜닝이 필요합니다.
• 공격 간의 적대적 영역은 유사한 차원 특성을 공유하여 교차 공격 탐지가 가능하게 합니다.