[논문 리뷰] Understanding Measures of Uncertainty for Adversarial Example Detection

Lewis Smith, Yarin Gal|arXiv (Cornell University)|2018. 03. 22.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 183

한 줄 요약

요약: 이 논문은 다른 불확실성 척도들(예측 엔트로피, 상호정보, 소프트맥스 분산)이 적대적 예제 탐지에서 어떻게 작용하는지 분석하고, MI가 왜 효과적인지 설명하며, MC 드롭아웃의 한계를 지적하고, 불확실성 추정을 개선하기 위한 확률적 앙상블을 제안한다. MNIST와 Cats vs Dogs 실험으로 검증한다.

ABSTRACT

Measuring uncertainty is a promising technique for detecting adversarial examples, crafted inputs on which the model predicts an incorrect class with high confidence. But many measures of uncertainty exist, including predictive en- tropy and mutual information, each capturing different types of uncertainty. We study these measures, and shed light on why mutual information seems to be effective at the task of adversarial example detection. We highlight failure modes for MC dropout, a widely used approach for estimating uncertainty in deep models. This leads to an improved understanding of the drawbacks of current methods, and a proposal to improve the quality of uncertainty estimates using probabilistic model ensembles. We give illustrative experiments using MNIST to demonstrate the intuition underlying the different measures of uncertainty, as well as experiments on a real world Kaggle dogs vs cats classification dataset.

연구 동기 및 목표

• 다양한 불확실성 척도가 적대적 입력과 매니폴드 내/외의 데이터에 어떻게 반응하는지 조사한다.
• 상호정보가 적대적 예제 탐지에서 다른 불확실성 지표들보다 왜 더 나은 성능을 보일 수 있는지 설명한다.
• 모듈러드롭아웃(MC dropout)이 완전한 베이지안 불확실성을 포착하는 데 어떤 한계를 가지고 있는지 식별한다.
• 불확실성 추정 향상을 위한 앙상블 기반 확장 방법을 제시한다.
• MNIST와 실제 데이터셋인 Cats vs Dogs에서의 발견을 시연한다.

제안 방법

• 드롭아웃을 근사로 하는 베이지안 신경망과 변분 추론을 검토한다.
• 불확실성 척도: 예측 엔트로피, 상호정보(MI), MC 드롭아웃 기반 추정치를 정의하고 비교한다.
• 이론적 확장을 통해 MI와 엔트로피의 관계를 설명하고 MI의 실증적 효과를 뒷받침한다.
• 드롭아웃의 실패 모드를 식별하기 위해 잠재 공간과 이미지 공간에서의 불확실성을 시각화한다.
• MC 드롭아웃과 앙상블을 사용하여 MNIST 보간과 ASIRRA Cats vs Dogs 데이터셋에서의 불확실성 기반 탐지를 평가한다.

실험 결과

연구 질문

• RQ1 예측 엔트로피, MI, 소프트맥스 분산은 적대적 입력과 비적대적 입력에서 어떻게 작용하는가?
• RQ2 MI가 매니폴드에서 멀리 벗어난 입력과 매니폴드상 불확실한 입력을 구분할 수 있는가, 예측 엔트로피와 달리?
• RQ3 모델 불확실성을 표현하는 MC 드롭아웃의 실패 모드는 무엇이며, 앙상블이 이를 완화할 수 있는가?
• RQ4 불확실성 기반 방어가 Toy 데이터셋에서 현실적인 데이터셋(Cats vs Dogs)으로 일반화될 수 있는가?

주요 결과

• MI와 예측 엔트로피는 모두 훈련 데이터 매니폴드에서 벗어난 입력에 대해 상승하지만, MI가 매니폴드 밖의 적대적 입력과 매니폴드 내의 모호한 입력을 더 신뢰성 있게 구분한다.
• 소프트맥스 분산은 MI와 관련이 있으며 간단한 분산 기반 불확실성이 때때로 MI의 대리로 작동하는 이유를 설명하지만, MI가 포착하는 뉘앙스를 놓칠 수 있다.
• MC 드롭아웃은 후방 불확실성을 과소추정하여 잠재 공간에 모자란 영역에서 비합리적 샘플에 대해 과신하는 경향을 드러낸다; 드롭아웃 모델의 앙상블이 이러한 격차를 완화한다.
• 드롭아웃 모델의 앙상블(다중 초기화)은 후방을 더 잘 근사하고 잘못된 자신감 예측을 줄여 적대적 입력에 대한 견고성을 향상시킨다.
• 실제 데이터셋인 Cats vs Dogs에서 MI 기반 불확실성은 적대적 입력과 정상 입력을 구분하는 데 의미 있는 구분력을 달성하며, 일부 설정에서 엔트로피보다 우수하다; 엔트로시는 고유의 불확실성으로 인해 높은 거짓 양성을 초래할 수 있다.
• 본 연구는 principled한 베이지안 접근을 통한 불확실성 추정 향상이 적대적 예제에 대한 강인성을 향상시킬 수 있음을 강조한다.