[논문 리뷰] When Not to Classify: Anomaly Detection of Attacks (ADA) on DNN Classifiers at Test Time

David J. Miller, Yulia Wang외 1명|arXiv (Cornell University)|2017. 12. 18.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 ReLU 활성화 함수의 지원에 맞춘 혼합 분포를 사용하여 DNN의 전단계 레이어의 공동 밀도를 모델링하여, 테스트 시기의 오용 공격을 탐지하기 위한 비지도 이상 탐지(AD) 시스템을 제안한다. 이는 소스/대상 클래스 개념과 가중치 정보를 활용한 Kullback-Leibler 발산 기반의 결정 통계량을 도입하여, Carlini-Wagner(CW) 공격을 포함한 다양한 공격 유형에 대해 MNIST 및 CIFAR-10에서 최신 기준 AUC 성능을 달성한다.

ABSTRACT

A significant threat to the recent, wide deployment of machine learning-based systems, including deep neural networks (DNNs), is adversarial learning attacks. We analyze possible test-time evasion-attack mechanisms and show that, in some important cases, when the image has been attacked, correctly classifying it has no utility: i) when the image to be attacked is (even arbitrarily) selected from the attacker's cache; ii) when the sole recipient of the classifier's decision is the attacker. Moreover, in some application domains and scenarios it is highly actionable to detect the attack irrespective of correctly classifying in the face of it (with classification still performed if no attack is detected). We hypothesize that, even if human-imperceptible, adversarial perturbations are machine-detectable. We propose a purely unsupervised anomaly detector (AD) that, unlike previous works: i) models the joint density of a deep layer using highly suitable null hypothesis density models (matched in particular to the non- negative support for RELU layers); ii) exploits multiple DNN layers; iii) leverages a "source" and "destination" class concept, source class uncertainty, the class confusion matrix, and DNN weight information in constructing a novel decision statistic grounded in the Kullback-Leibler divergence. Tested on MNIST and CIFAR-10 image databases under three prominent attack strategies, our approach outperforms previous detection methods, achieving strong ROC AUC detection accuracy on two attacks and better accuracy than recently reported for a variety of methods on the strongest (CW) attack. We also evaluate a fully white box attack on our system. Finally, we evaluate other important performance measures, such as classification accuracy, versus detection rate and attack strength.

연구 동기 및 목표

• DNN 분류기의 테스트 시기 오용 공격에 대한 방어 메커니즘이 부족한 점을 보완하기 위해, 특히 공격 하에서도 정확한 분류가 기능적으로 무의미한 상황에서의 방어를 목표로 한다.
• 인간이 인지하지 못하는 정도로 미세한 변형이라도 DNN 특징 표현의 통계적 이탈을 활용하여 이상 탐지할 수 있도록, 내부 표현에서의 이상을 탐지한다.
• 라벨이 부여된 공격 데이터나 공격 패tern에 대한 사전 지식 없이도 작동하는 비지도 AD 시스템을 개발한다.
• 다중 DNN 레이어, 클래스 혼동 행렬, DNN 가중치 정보를 활용하여 탐지 정확도를 향상시킨다.
• 공격이 탐지될 경우 안전한 시스템 반응(예: 거부 또는 완화)을 가능하게 하는 탐지 메커니즘을 제공한다. 이는 분류 정확도 유지 여부와는 무관하다.

제안 방법

• ReLU 유닛의 비음수 지원에 맞춘 혼합 정규분포와 일반화된 감마분포를 사용하여 DNN 전단계 레이어 활성화의 공동 밀도를 모델링한다.
• 청결한 데이터로부터 유도된 근본 모델과 샘플의 경험적 분포 간 Kullback-Leibler(KL) 발산을 기반으로 한 새로운 결정 통계량을 구성한다.
• 소스 클래스 불확실성과 클래스 혼동 행렬 정보를 통합하여 이상 점수를 정교화함으로써 미세한 변형에 대한 민감도를 향상시킨다.
• DNN 가중치 정보를 활용하여 근본 모델을 校정하고 이상 탐지 과정의 통계적 강건성을 향상시킨다.
• 다중 레이어 접근 방식을 통해 다수의 DNN 레이어에서의 이상 점수를 통합하여 탐지 신뢰도를 향상시킨다.
• 학습 중에 레이블이 부여된 이상 예측 데이터가 전혀 필요 없는 순수 비지도 방식으로 작동한다.

실험 결과

연구 질문

• RQ1 인간이 인지하지 못하는 정도로 미세한 변형이라도, DNN 내부 표현에서 통계적 이상으로 탐지될 수 있는가?
• RQ2 ReLU 활성화 함수의 지원에 맞춘 분포를 사용하여 DNN 특징의 공동 밀도를 모델링하면 이상 탐지 성능이 향상되는가?
• RQ3 클래스 혼동 및 가중치 정보를 통합한 KL 발산 기반의 결정 통계량이 기존 비지도 AD 방법보다 오용 공격에 대해 뛰어난 성능을 보일 수 있는가?
• RQ4 제안된 AD 시스템은 Carlini-Wagner(CW) 공격과 같은 강력한 최신 기준 공격에 대해 얼마나 효과적인가?
• RQ5 정상 분류가 유용하거나 실행 가능한 상태가 아니더라도, 시스템은 공격을 탐지할 수 있는가?

주요 결과

• 제안된 AD 시스템은 MNIST 및 CIFAR-10에서 세 가지 주요 오용 공격 전략에 대해 강력한 ROC AUC 성능을 달성하였으며, 특히 매우 강력한 Carlini-Wagner(CW) 공격에 대해서도 성능이 뛰어나다.
• CW 공격에 대해 최근 보고된 최신 기준 방법보다 더 높은 탐지 정확도를 확보하여, 더 뛰어난 강건성을 입증하였다.
• 낮은 강도의 공격 조건에서도 높은 탐지율을 유지하며, 정상 샘플의 분류 정확도는 최소한의 저하를 보였다.
• 다층 특징 표현과 통계적으로 탄탄한 결정 통계량을 활용함으로써, 이전 비지도 AD 접근 방식을 능가하는 성능을 확보하였다.
• AD 시스템에 대한 완전한 화이트박스 공격을 평가한 결과, 방어 메커니즘에 대한 전체 지식이 있음에도 불구하고 탐지기가 강건함을 입증하였다.
• 다양한 DNN 아키텍처에 대해 잘 일반화되며, 적절한 근본 모델 적응이 이루어진 경우 음성, 유전체, IoT 센서 데이터 등 이미지 외 영역에도 적용 가능하다.