[논문 리뷰] Probabilistic Modeling of Deep Features for Out-of-Distribution and Adversarial Detection

Nilesh Ahuja, Ibrahima J. Ndiour외 2명|arXiv (Cornell University)|2019. 09. 25.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 37

한 줄 요약

본 논문은 학습된 DNN의 깊은 특징을 클래스-조건부 모수 분포(가우시안 및 가우시안 혼합 모델)로 모델링하여 각 층의 대로그-가능도(log-likelihoods)를 사용해 분포 외 샘플(OOD) 및 적대적 샘플을 탐지하는 방법을 제안한다. MNIST, CIFAR-10, UCF101 비디오 데이터에서 OOD 및 적대적 탐지 성능이 향상되었으며, 차원 축소 및 층별 효율성에 대한 분석을 제공한다.

ABSTRACT

We present a principled approach for detecting out-of-distribution (OOD) and adversarial samples in deep neural networks. Our approach consists in modeling the outputs of the various layers (deep features) with parametric probability distributions once training is completed. At inference, the likelihoods of the deep features w.r.t the previously learnt distributions are calculated and used to derive uncertainty estimates that can discriminate in-distribution samples from OOD samples. We explore the use of two classes of multivariate distributions for modeling the deep features - Gaussian and Gaussian mixture - and study the trade-off between accuracy and computational complexity. We demonstrate benefits of our approach on image features by detecting OOD images and adversarially-generated images, using popular DNN architectures on MNIST and CIFAR10 datasets. We show that more precise modeling of the feature distributions result in significantly improved detection of OOD and adversarial samples; up to 12 percentage points in AUPR and AUROC metrics. We further show that our approach remains extremely effective when applied to video data and associated spatio-temporal features by detecting adversarial samples on activity classification tasks using UCF101 dataset, and the C3D network. To our knowledge, our methodology is the first one reported for reliably detecting white-box adversarial framing, a state-of-the-art adversarial attack for video classifiers.

연구 동기 및 목표

• 안전-중요 도메인에서 DNN의 신뢰할 수 있는 예측 불확실성을 촉진한다.
• 학습 후 심층 특징 분포를 모델링하는 생성적 접근법을 제안한다.
• 원래 분류기를 바꾸지 않고도 각 층의 가능도(per-layer likelihoods)가 OOD 및 적대적 탐지를 가능하게 하는지 평가한다.
• 매개변수 추정에 대한 차원 축소의 영향과 계산적 거래오프를 분석한다.

제안 방법

• 여러 층에서의 심층 특징에 다변가우스(각 층의 공분산은 분리) 또는 가우시안 혼합 모델을 사용하여 클래스-조건부 분포를 적합시킨다.
• 최대 우도(평균 및 공분산) 또는 GMM에 대한 EM으로 매개변수를 추정한다; 구성요소 선택에 BIC를 사용한다.
• 테스트 샘플에 대해 각 층의 로그-가능도를 계산하고 이를 사용하여 OOD/적대적 샘플을 탐지하고 잠재적으로 분류한다.
• 공분산 가정에 따라 Mahalanobis 거리(결합 공분산) 또는 전체 로그-가능도를 사용한다.
• 차원 축소(평균 풀링 및 PCA)를 적용하여 악조건을 완화하고 계산을 감소시킨다.
• MNIST 및 CIFAR-10에서 AUPR 및 AUROC 지표로 평가하고, 비디오(UCF101) 및 적대적 프레이밍 공격까지 확장한다.

실험 결과

연구 질문

• RQ1 각 층의 심층 특징에 대한 확률적 모델링이 기본 소프트맥스 기반 방법과 비교하여 OOD 샘플 탐지를 개선할 수 있는가?
• RQ2 가우시안, 분리 공분산 가우시안, 그리고 가우시안 혼합 모델이 OOD/적대적 탐지에서 정확도와 계산 비용의 서로 다른 트레이드오프를 제공하는가?
• RQ3 차원 축소 기법이 매개변수 추정 및 탐지 성능에 어떤 영향을 미치는가?
• RQ4 이 방법이 비디오 데이터에서 효과적이며 화이트박스 및 블랙박스 적대적 프레이밍 공격에 대해 효과적인가?

주요 결과

• 클래스-조건부 분포로 심층 특징을 모델링하면 동일한 분포 내 분류에서 경쟁력 있는 성능과 향상된 OOD/적대적 탐지를 얻을 수 있으며(일부 케이스에서 AUPR/AUROC가 최대 12% 포인트 향상).
• 분리된 공분산을 갖는 가우시안과 GMM이 비교 가능한 탐지 성능을 제공하며, 더 일반적인 모델은 특히 초기(내부) 층에서 강인성을 향상시킨다.
• PCA 및 평균 풀링을 통한 차원 축소가 악조건을 완화하고 탐지 및 분류 성능을 향상시킨다.
• 이 접근법은 비디오 데이터(UCF101) 및 화이트박스와 블랙박스 적대적 프레이밍 공격에 대해 효과적이며 AUROC/AUPR를 기준선 대비 향상시킨다.
• 탐지 정확도의 층별 향상은 최종 층에서 멀어질수록 증가하며, 내부 층이 더 풍부한 분포로부터 더 큰 이점을 얻는다는 것을 시사한다.
• 각 층의 로그-가능도는 분포 내 데이터에서 소프트맥스와 비슷한 정확도로 분류에 사용할 수 있다.