[논문 리뷰] A General Framework For Detecting Anomalous Inputs to DNN Classifiers

Jayaram Raghuram, Varun Chandrasekaran외 2명|arXiv (Cornell University)|2020. 07. 29.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 딥 네트워크 분류기에서 이상 입력(적대적 및 OOD)을 탐지하기 위해 다중 내부 레이어 표현 간의 통계적 검정을 활용하는 일반적인 비지도 학습 프레임워크인 JTLA를 제안한다. 이 프레임워크는 p-값 추정 및 피셔의 방법을 통한 집계와 같은 체계적이고 구성 가능한 구성 요소를 사용하여 적응형 공격에 대해 뛰어난 내성적 저항성을 보이며, CIFAR-10, SVHN 및 MNIST 데이터셋에서 뛰어난 성능을 보인다. 특히 낮은 가짜 양성 비율 조건에서 유의미하다.

ABSTRACT

Detecting anomalous inputs, such as adversarial and out-of-distribution (OOD) inputs, is critical for classifiers (including deep neural networks or DNNs) deployed in real-world applications. While prior works have proposed various methods to detect such anomalous samples using information from the internal layer representations of a DNN, there is a lack of consensus on a principled approach for the different components of such a detection method. As a result, often heuristic and one-off methods are applied for different aspects of this problem. We propose an unsupervised anomaly detection framework based on the internal DNN layer representations in the form of a meta-algorithm with configurable components. We proceed to propose specific instantiations for each component of the meta-algorithm based on ideas grounded in statistical testing and anomaly detection. We evaluate the proposed methods on well-known image classification datasets with strong adversarial attacks and OOD inputs, including an adaptive attack that uses the internal layer representations of the DNN (often not considered in prior work). Comparisons with five recently-proposed competing detection methods demonstrates the effectiveness of our method in detecting adversarial and OOD inputs.

연구 동기 및 목표

• 딥 네트워크 분류기에서 내부 레이어 표현을 활용한 이상 입력(적대적 및 OOD) 탐지에 대해 체계적이고 통합된 프레임워크의 부재 문제를 해결하기 위해.
• 기존 방법의 한계, 즉 레이블이 부여된 이상 샘플에 대한 의존성, 적응형 공격에 대한 일반화 능력 부족, 다중 레이어 정보의 비최적 사용 등을 극복하기 위해.
• 이상 탐지에 대해 테스트 통계량, 집계 및 점수 부여 방법의 체계적 선택과 조합을 가능하게 하는 비지도, 모듈러한 프레임워크를 개발하기 위해.
• 레이어 표현 기반 탐지 메커니즘을 공격하는 방식으로 설계된 방어 인식적 신규 적대적 공격에 대해 프레임워크를 평가하기 위해.
• 다양한 데이터셋과 공격 유형에서 실질적인 운영 조건(가짜 양성 비율 제약) 하에서도 뛰어난 성능을 유지함을 입증하기 위해.

제안 방법

• JTLA 프레임워크는 구성 가능한 구성 요소를 갖춘 메타알고리즘으로 구성되어 있으며, 테스트 통계량, p-값 추정, 집계 방법, 결정 임계치가 포함된다.
• 딥 네트워크 레이어 표현에 대한 통계적 가설 검정에서 유도된 p-값을 사용하여 이상 가능성 정도를 정량화하며, p-값은 커널 밀도 추정(LPE) 또는 경험적 방법을 통해 추정된다.
• 이상은 피셔의 방법 또는 산술 평균을 사용하여 레이어 간의 p-값을 결합함으로써 다중 레이어 패턴을 종합적으로 분석할 수 있도록 한다.
• 이 방법은 비지도 학습 기반으로, 사전에 알려진 이상 샘플을 학습할 필요 없이 추론 시 정상 입력의 분포만을 기반으로 한다.
• 레이어 표현이 탐지에 쉽게 조작되지 않도록 하여 적응형 공격에 대한 내성적 저항성을 확보하기 위해 설계되었다.
• 특히 공격자가 클래스별 특징을 악용하는 경우에 탐지 민감도를 향상시키기 위해 레이어 표현의 클래스 조건부 분석을 통합하였다.

실험 결과

연구 질문

• RQ1 딥 네트워크 레이어 표현의 통계적 검정 기반 일반적 비지도 프레임워크가 기존 탐지 방법보다 이상 입력(적대적 및 OOD) 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ2 다중 레이어 표현의 종합적 분석은 단일 레이어 또는 출력 전용 방법에 비해 탐지 내성에 어떻게 기여하는가?
• RQ3 이 프레임워크는 탐지 기반으로 설계된 적응형 공격에 대해 얼마나 잘 일반화되는가?
• RQ4 p-값 추정 및 집계 전략의 차이가 탐지 성능 및 계산 효율성에 어떤 영향을 미치는가?
• RQ5 레이어 표현의 클래스 조건부 성질을 통합하면 특히 고신뢰도 적대적 공격 조건에서 탐지 정확도가 향상되는가?

주요 결과

• CIFAR-10에서 JTLA는 대부분의 공격에 대해 pAUC-0.2 기준으로 모든 경쟁 방법을 능가하며, 적응형 공격 조건에서도 강력한 일반화 능력을 입증하였다.
• SVHN에서 JTLA는 뛰어난 성능 유지를 보였으며, aK-LPE 버전이 적응형 공격에서 마할라노비스 방법을 능가하여 방어 인식적 공격자에 대한 강건성을 입증하였다.
• MNIST에서 올리고스와 트러스트는 로지터의 고유한 패턴 덕분에 일부 공격에서 JTLA를 능가하지만, aK-LPE 버전은 특히 피셔의 방법을 피하기 위해 설계된 적응형 공격에서 경쟁력 있고 뛰어난 성능을 보였다.
• JTLA의 aK-LPE 버전은 적응형 공격에 대해 뛰어난 내성적 저항성을 보이며, 이는 p-값 추정 방법이 조작에 덜 민감함을 시사한다.
• JTLA는 빠른 실행 시간(예: CIFAR-10에서 2.18분/폴드)을 유지하며, 광범위한 샘플링이나 교차검증이 필요한 올리고스 및 LID와 같은 계산 비용이 큰 방법들을 능가한다.
• 프레임워크의 모듈러한 설계 덕분에, 체계적인 통계적 기반을 제공함으로써 기존 방법(Mahalanobis 및 LID)을 모두 통합하고 개선할 수 있다.