[논문 리뷰] Adversarial Examples Detection with Bayesian Neural Network

Yao Li, Tongyi Tang외 2명|arXiv (Cornell University)|2021. 05. 18.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 베이지안 신경망(BNNs)의 확률적 특성을 활용해 은닉층 출력 분포를 모델링하고, 분포의 차이를 통해 적대적 예제를 탐지하는 BATer를 제안한다. 다양한 공격, 특히 고신뢰도 및 맞춤형 화이트박스 공격 하에서 MNIST, CIFAR10, ImageNet-Sub에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose a new framework to detect adversarial examples motivated by the observations that random components can improve the smoothness of predictors and make it easier to simulate the output distribution of a deep neural network. With these observations, we propose a novel Bayesian adversarial example detector, short for BATer, to improve the performance of adversarial example detection. Specifically, we study the distributional difference of hidden layer output between natural and adversarial examples, and propose to use the randomness of the Bayesian neural network to simulate hidden layer output distribution and leverage the distribution dispersion to detect adversarial examples. The advantage of a Bayesian neural network is that the output is stochastic while a deep neural network without random components does not have such characteristics. Empirical results on several benchmark datasets against popular attacks show that the proposed BATer outperforms the state-of-the-art detectors in adversarial example detection.

연구 동기 및 목표

• 안전 중심 응용 분야에서 결정론적 깊은 신경망의 적대적 예제에 대한 취약성을 해결하기 위해.
• 자연 데이터와 적대적 데이터 간의 은닉층 출력 분포의 차이를 활용하여 적대적 예제 탐지 성능을 향상시키기 위해.
• 베이지안 신경망(BNNs)의 내재된 확률적 특성을 활용해 탐지의 강건성과 예측의 매끄러움을 향상시키기 위해.
• 회색상자 및 화이트박스 공격 설정, 특히 맞춤형 강력한 공격 하에서 탐지 성능을 평가하기 위해.
• 동일한 탐지 프레임워크 하에서 BNN 기반 탐지가 결정론적 대안보다 더 효과적인지 입증하기 위해.

제안 방법

• BATer는 베이지안 신경망(BNNs)을 사용해 은닉층 출력을 확률적으로 생성함으로써 특성 분포의 확률적 모델링을 가능하게 한다.
• 선택된 레이어들에서 자연 예제와 적대적 예제의 은닉층 출력 간 분포 차이—특히 와서슈타인 거리—를 계산한다.
• 탐지에 가장 적합한 은닉층(인덱스 집합 𝒮를 통해 선정)을 선택하여 분포의 산란 정도가 가장 두드러진 레이어를 식별한다.
• 이 프레임워크는 특히 깊은 레이어에서 적대적 예제가 자연 데이터보다 은닉층 출력의 표준편차를 더 크게 유도한다는 사실을 활용한다.
• 최종 레이어의 출력 분산을 최소화하면서도 적대적 성공률를 유지하는 방식으로 설계된 맞춤형 화이트박스 공격인 Restricted-PGD를 개발하여 강건성 테스트를 수행한다.
• 다중 순환 전방전파 동안 BNN 출력의 산포도(예: 표준편차)를 비교하여 분포의 산란 정도를 탐지 신호로 사용함으로써 탐지를 수행한다.

Figure 1 : Framework of BATer . $k$ is the total number of hidden layers. $d_{j}$ represents the distribution distance measured from $j$ -th hidden layer. $\mathcal{S}$ is the index set of selected hidden layers.

실험 결과

연구 질문

• RQ1 베이지안 신경망의 확률적 특성을 활용해 은닉층 출력 분포를 모델링함으로써 적대적 예제 탐지 성능 향상이 가능한가?
• RQ2 자연 데이터와 적대적 데이터 간 BNN의 은닉 표현에서의 분포 차이가 탐지 성능 향상에 어떻게 기여하는가?
• RQ3 고신뢰도 적대적 예제(신뢰도 10 및 20) 상황에서도 BATer는 강력한 탐지 성능 유지를 할 수 있는가? 이는 기존 탐지기법이 종종 실패하는 영역이다.
• RQ4 은닉층 분산을 조작하는 맞춤형 화이트박스 공격이 BATer를 우회할 수 있으며, BATer의 강건성은 어떠한가?
• RQ5 동일한 탐지 체계 하에서 BNN 기반 탐지 프레임워크가 결정론적 대안보다 더 효과적인가?

주요 결과

• BATer는 PGD, FGSM, C&W를 포함한 다양한 유형의 공격 하에서 MNIST, CIFAR10, ImageNet-Sub에서 최신 기술보다 뛰어난 성능을 보였다.
• 기존 탐지기법이 종종 실패하는 고신뢰도 적대적 예제(신뢰도 10 및 20)에 대해서도 BATer는 강력한 탐지 성능을 유지하였다.
• 제거 실험을 통해 동일한 탐지 파이프라인 하에서 BNN이 결정론적 네트워크보다 탐지 성능을 크게 향상시킨다는 점을 확인하였다.
• 맞춤형 Restricted-PGD 공격은 탐지 성능을 저하시켰지만, 특히 MNIST와 ImageNet-Sub에서는 완전히 무력화하지 못했으며, 이는 강건성을 시사한다.
• 은닉층 출력의 표준편차는 특히 깊은 레이어에서 자연 데이터보다 적대적 예제에서 일관되게 더 높게 나타났으며, 이는 핵심 탐지 신호로 기능한다.
• 공격자가 분류기와 탐지기의 모든 정보를 확보한 화이트박스 환경에서도 탐지 프레임워크가 효과를 발휘하여 고도화된 공격에 대한 저항성을 입증하였다.

Figure 2 : Illustration of Bayesian Neural Network.