[논문 리뷰] Adversarial Phenomenon in the Eyes of Bayesian Deep Learning

Ambrish Rawat, Martin Wistuba외 1명|arXiv (Cornell University)|2017. 11. 22.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 27

한 줄 요약

이 논문은 딥 네ural 네트워크에서 베이지안 불확실성에 의한 적대적 로버스트니를 조사하며, 베이지안 신경망(BNNs)이 적대적 예측에 대해 예측 불확실성이 높아지며, 이는 랜덤 가우시안 노이즈와 유사하여 적대적 탐지에 효과적임을 제안한다. 저자는 몬테 카를로 샘플링을 사용하여 BNNs에 대해 FGSM를 적응시켰으며, 상호정보량과 예측 엔트로피와 같은 불확실성 지표가 다양한 BNN 변형에서 적대적 입력을 신뢰성 있게 식별함을 입증하였다.

ABSTRACT

Deep Learning models are vulnerable to adversarial examples, i.e.\ images obtained via deliberate imperceptible perturbations, such that the model misclassifies them with high confidence. However, class confidence by itself is an incomplete picture of uncertainty. We therefore use principled Bayesian methods to capture model uncertainty in prediction for observing adversarial misclassification. We provide an extensive study with different Bayesian neural networks attacked in both white-box and black-box setups. The behaviour of the networks for noise, attacks and clean test data is compared. We observe that Bayesian neural networks are uncertain in their predictions for adversarial perturbations, a behaviour similar to the one observed for random Gaussian perturbations. Thus, we conclude that Bayesian neural networks can be considered for detecting adversarial examples.

연구 동기 및 목표

• 베이지안 신경망(BNNs)이 청소된 데이터에 비해 적대적 예측에서 더 높은 불확실성을 보이는지 조사하는 것.
• 정당한 불확실성 측정을 통해 BNNs가 적대적 변형을 랜덤 노이즈와 구분할 수 있는지 평가하는 것.
• 예를 들어 PBP, MC 드롭아웃, VI와 같은 여러 베이지안 추론 방법이 불확실성 지표를 통해 적대적 공격 탐지에 얼마나 효과적인지 평가하는 것.
• 화이트박스 및_BLK박스 적대적 공격 하에서 BNN의 불확실성 행동을 비교하는 것.
• 안전 중심 응용 분야에서 불확실성 기반 탐지가 신뢰할 수 있는 방어 메커니즘으로서의 잠재력을 탐색하는 것.

제안 방법

• 모수 불확실성 하에서 예측을 추정하기 위해 몬테 카를로 샘플링을 사용하여 베이지안 신경망(BNNs)에 대해 빠른 기울기 부호 방법(FGSM)을 적응시켰다.
• 네 가지 다른 베이지안 추론 방법을 사용: 확률적 백프로파게이션(PBP), 몬테 카를로 드롭아웃(MC-Dropout), 변분 추론(VI), 및 매트릭스 변수 가우시안 사후(MVN).
• 세 가지 지표를 사용하여 모델 불확실성 측정: 불확실성 내 상호정보량(MUMMI), 예측 엔트로피, 및 변동 비율.
• 노이즈 유형 세 가지: 균일, 픽셀 단위 가우시안, 다변량 정규분포(MVN)와 함께 MNIST에서 FGSM를 사용하여 적대적 예측 생성(편미도 강도 ε = 0.5).
• 청결한 테스트 데이터, 적대적 예측, 노이즈 집합의 클래스 신뢰도 대 불확실성 지표 산점도를 시각화하여 불확실성 풋프린트를 시각화하였다.
• 각 입력에 대해 사후 예측 분포를 근사하고 불확실성 추정치를 계산하기 위해 몬테 카를로 샘플링을 사용하였다.

실험 결과

연구 질문

• RQ1 베이지안 신경망(BNNs)은 청소된 테스트 이미지에 비해 적대적 예측에서 유의미하게 더 높은 불확실성을 보이는가?
• RQ2 BNNs가 적대적 변형에서의 불확실성 행동이 랜덤 가우시안 노이즈에서의 행동과 어떻게 비교되는가?
• RQ3 다른 베이지안 추론 방법(예: PBP, MC-Dropout)이 적대적 공격에 걸쳐 일관된 불확실성 패턴을 보이는가?
• RQ4 예측 엔트로피 및 변동 비율과 같은 불확실성 지표가 적대적 입력을 청소된 데이터 또는 노이즈 데이터와 효과적으로 구분할 수 있는가?
• RQ5 BNN의 불확실성 풋프린트가 적대적 공격 하에서 훈련 분포에서 멀리 떨어진 데이터 포인트와 유사한가?

주요 결과

• 베이지안 신경망은 MUMMI, 예측 엔트로피, 변동 비율로 측정된 불확실성이 적대적 예측에서 유의미하게 증가하며, 특히 공격 강도가 증가할수록 더욱 두드러진다.
• 적대적 예측의 불확실성 풋프린트는 랜덤 가우시안 노이즈와 매우 유사하여, BNNs가 둘 다 분포 외 입력으로 간주함을 시사한다.
• PBP는 적대적 및 노이즈 입력 모두에서 불확실성이 급격히 증가하지만, MC-Dropout 등의 다른 모델은 MVN 및 픽셀 단위 노이즈에서 일관되지 않은 행동을 보이며, 이는 아키텍처 및 정규화 효과 때문일 수 있다.
• 적대적 예측과 랜덤 노이즈 간의 불확실성 패턴 유사성은 BNNs가 적대적 입력을 훈련 데이터에서 분포적으로 떨어져 있음을 인식함을 지지하는 가설을 뒷받침한다.
• 시험된 모든 BNN 변형에서 FGSM 편미도 강도가 증가할수록 불확실성이 명확히 증가하는 추세를 보이며, 이는 불확실성이 탐지 신호로서의 강건성을 확인한다.
• 결과는 BNN 내 불확실성 측정이 다수의 불확실성 지표와 함께 결합될 경우, 특히 적대적 예측 탐지에 신뢰할 수 있는 메커니즘이 될 수 있음을 시사한다.