[논문 리뷰] The Limitations of Model Uncertainty in Adversarial Settings

Kathrin Grosse, David Pfaff외 2명|arXiv (Cornell University)|2018. 12. 06.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 24

한 줄 요약

이 논문은 베이지안 모델에서 높은 신뢰도와 낮은 불확실성으로 작동하는 적대적 예제를 생성하는 방법을 제안하며, 이러한 불확실성 측정 방식이 적대적 입력을 탐지하는 데 신뢰할 수 없다는 것을 입증한다. 가우시안 프로세스 분류기(GPC)를 서로서이 사용하여, 일반적인 입력과 시각적으로 유사하지만 베이지안 신경망에 의해 잘못 분류되는 고신뢰도·저불확실성(HCLU) 예제를 제작한다. 이는 불확실성 기반 방어 수단으로서의 불확실성 사용에 대한 심각한 한계를 드러낸다.

ABSTRACT

Machine learning models are vulnerable to adversarial examples: minor perturbations to input samples intended to deliberately cause misclassification. While an obvious security threat, adversarial examples yield as well insights about the applied model itself. We investigate adversarial examples in the context of Bayesian neural network's (BNN's) uncertainty measures. As these measures are highly non-smooth, we use a smooth Gaussian process classifier (GPC) as substitute. We show that both confidence and uncertainty can be unsuspicious even if the output is wrong. Intriguingly, we find subtle differences in the features influencing uncertainty and confidence for most tasks.

연구 동기 및 목표

• 베이지안 불확실성 측정 방식이 기계학습 모델에서 적대적 예제를 신뢰성 있게 탐지할 수 있는지 조사하기.
• 신뢰도가 높고 불확실성이 낮은 방식으로 적대적 예제를 생성하는 방법을 개발하여, 불확실성 기반 방어 수단을 회피하기.
• GPC, DNN, BNN를 포함한 다양한 모델 간에 이러한 적대적 예제의 이동성(transferability)을 평가하기.
• 베이지안 모델에서 신뢰도와 불확실성에 영향을 주는 특징들을 비교하여 잠재적인 불일치를 규명하기.
• 높은 불확실성이 적대적 입력을 시사한다는 가정을 도전하며, 반대로 높은 불확실성이 나타나지 않을 수 있음을 보여주기.

제안 방법

• 저자들은 높은 신뢰도(>0.95)와 낮은 불확실성(≤ 원본 수준)을 만족시키는 조건 하에 최소 L2 노이즈를 갖는 새로운 적대적 예제 유형인 고신뢰도·저불확실성(HCLU)을 정의한다.
• 베이지안 신경망(BNN)의 불확실성은 비연속적이므로, 최적화 문제를 해결하기 위해 부드러운 가우시안 프로세스 분류기(GPC)를 서로서이 사용한다.
• 공격는 파이썬의 L-BFGS-B 최적화 루틴을 사용하여 구현되었으며, 재현 가능성을 확보하기 위해 적대적 공격에 대한 내구성 툴박스를 활용한다.
• 이 방법은 스팸, MNIST, Fashion-MNIST 데이터셋에 적용되었으며, GPC의 확장성 확보를 위해 소규모 데이터와 이진 분류 작업에 집중한다.
• 이동성 평가를 위해 HCLU 예제는 GPC, DNN, BNN 모델에서 테스트되어 공격의 강건성과 일반화 능력을 평가한다.
• 히스토GRAM 빈팅을 통해 25개의 간격으로 베이지안 신뢰도와 불확실성을 분석하며, 정확하게 분류된 예제와 잘못 분류된 예제를 비교한다.

실험 결과

연구 질문

• RQ1 높은 신뢰도와 낮은 불확실성을 유지하면서 탐지되지 않는 적대적 예제를 생성할 수 있는가?
• RQ2 BNN 같은 베이지안 모델이 HCLU 예제를 낮은 불확실성과 높은 신뢰도로 잘못 분류하는가?
• RQ3 베이지안 모델에서 신뢰도와 불확실성에 영향을 주는 특징들은 어떻게 다를까?
• RQ4 HCLU 적대적 예제는 비베이지안 DNN를 포함한 다양한 모델 간에 얼마나 이동성이 있는가?
• RQ5 일반적인 입력, 표준 적대적 공격(Carlini & Wagner 기반)과 HCLU 예제 간에 불확실성과 신뢰도의 행동 패턴은 어떻게 다를까?

주요 결과

• HCLU 적대적 예제는 최소한의 L2 노이즈로 성공적으로 생성되었으며, GPC 서로서이 모델에서 100% 성공률를 기록했다.
• 스팸 데이터셋에서는 HCLU 노이즈의 평균 L2 노름이 0.008 ± 0.006이었고, Fashion-MNIST(1 대 9)에서는 0.194 ± 0.036였다.
• BNN은 HCLU 예제를 높은 신뢰도(평균 신뢰도 ~0.948)와 낮은 불확실성으로 잘못 분류했으며, 이는 적대적 입력에서 불확실성이 증가해야 한다는 기대와 정반대였다.
• HCLU 예제의 경우, BNN은 잘못 분류된 샘플에 대해 낮은 불확실성, 정확히 분류된 샘플에 대해선 낮은 신뢰도를 보였으며, 이는 표준 적대적 공격에서 관찰되는 일반적인 패tern과 정반대였다.
• HCLU 예제의 이동성은 매우 높았다. 모든 모델에서 HCLU 입력에 대해 명백한 정확도 저하가 발생했으며, MNIST 3 대 8 및 Fashion-MNIST 5 대 7에서 DNN가 약간 더 높은 내성성을 보였다.
• 연구에서는 베이지안 모델에서 신뢰도와 불확실성에 영향을 주는 특징들 사이에 미세한 차이를 발견하였으며, 이는 이러한 측정 방식이 완전히 일치하지 않으며 따라서 방어 수단으로서 신뢰할 수 없다는 것을 시사한다.