[논문 리뷰] Evaluating the Robustness of Bayesian Neural Networks Against Different Types of Attacks

Yutian Pang, Sheng Cheng외 2명|arXiv (Cornell University)|2021. 06. 17.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 10

한 줄 요약

이 논문은 안전 기반 이미지 분류 작업에서 다양한 적대적 공격과 입력 편향에 대해 베이지안 신경망(BNNs)의 강건성을 평가한다. 특히 적대적 훈련 없이도 제약 조건이 있는 화이트박스 적대적 공격—특히 PGD—에 대해 결정론적 CNN보다 유의미하게 높은 정확도를 달성함을 보여주며, 분류기 내의 확률적 성격만으로도 강력한 강건성 향상을 얻을 수 있음을 시사한다. 이는 실세계 적용에 적합한 경량이면서도 효과적인 방어 전략을 제공한다.

ABSTRACT

To evaluate the robustness gain of Bayesian neural networks on image classification tasks, we perform input perturbations, and adversarial attacks to the state-of-the-art Bayesian neural networks, with a benchmark CNN model as reference. The attacks are selected to simulate signal interference and cyberattacks towards CNN-based machine learning systems. The result shows that a Bayesian neural network achieves significantly higher robustness against adversarial attacks generated against a deterministic neural network model, without adversarial training. The Bayesian posterior can act as the safety precursor of ongoing malicious activities. Furthermore, we show that the stochastic classifier after the deterministic CNN extractor has sufficient robustness enhancement rather than a stochastic feature extractor before the stochastic classifier. This advises on utilizing stochastic layers in building decision-making pipelines within a safety-critical domain.

연구 동기 및 목표

• 안전 기반 응용 분야에서 다양한 입력 편향과 적대적 공격에 대해 베이지안 신경망(BNNs)의 강건성을 평가하는 것.
• 이미지 분류 작업에서 다양한 베이지안 추론 방법—Bayes By Backprop (BBB), Variational Inference (VI), Flipout—의 성능을 비교하는 것.
• 특징 추출기의 확률적 성격이 아닌 분류기층의 단독 확률적 성격만으로도 강건성 향상이 충분한지 확인하는 것.
• 적대적 훈련 없이도 화이트박스 및_BLK박스 적대적 공격에 대해 BNN의 효과성을 평가하는 것.
• 배포된 시스템에서 악성 활동을 조기에 감지할 수 있는 BNN의 사후 분포 잠재력을 조사하는 것.

제안 방법

• 변분 추론 및 재파rameterization 기법(예: Flipout, 로컬 재파rameterization)을 사용한 가중치 분포를 갖춘 베이지안 신경망을 적용한다.
• 다양한 베이지안 추론 방법을 평가한다: Bayes By Backprop (BBB), Variational Inference (VI), posterior 추정을 위한 Flipout 근사.
• 6종의 입력 편향 유형(Gaussian, Poisson, S&P, RE, RE Colorful, Speckle)과 5종의 화이트박스 공격(PGD, MIM, SPSA 등)을 $L_\infty$ 위협 모델을 사용해 강건성 평가를 수행한다.
• 전이 기반 방법(예: SPSA, MIM)을 사용해 블랙박스 공격을 수행하여 다양한 모델 간의 강건성 일반화 능력을 평가한다.
• 실세계 안전 기반 데이터셋 2종을 사용한다: GTSRB(독일 교통 표지 인식) 및 PlanesNet(항공기 위성 영상).
• 편향 및 적대적 공격 하에서의 테스트 정확도를 측정하고, BNN 변종 간의 훈련 시간을 비교한다.

실험 결과

연구 질문

• RQ1 다양한 베이지안 추론 방법(BBB, VI, Flipout)은 입력 편향과 적대적 공격에 대해 어떻게 강건성에서 상호 비교되는가?
• RQ2 특징 추출기의 확률적 성격이 아닌 분류기층의 단독 확률적 성격만으로도 충분한 강건성 향상이 이루어지는가?
• RQ3 적대적 훈련 없이도 베이지안 신경망은 제약 조건이 있는 화이트박스 적대적 공격에 대해 유의미한 강건성 향상을 달성할 수 있는가?
• RQ4 블랙박스 적대적 공격은 BNN에 대해 어떻게 작용하는가? 다양한 공격 유형(SPSA 대 MIM) 간 강건성에 차이가 있는가?
• RQ5 베이지안 사후 분포는 배포된 시스템에서 지속적인 적대적 활동을 감지하기 위한 안전 예측자로 활용될 수 있는가?

주요 결과

• Flipout 추론을 사용한 F-BNN은 청소년 GTSRB 입력에서 97.17%의 테스트 정확도를 기록했으며, 결정론적 CNN 기준선(96.28%)과 다른 BNN 변종보다 뛰어난 성능을 보였다.
• PGD 공격($\varepsilon = 0.10$) 조건에서 F-BNN은 GTSRB에서 80.0%의 정확도를 유지했으며, 유사 조건에서 결정론적 CNN의 정확도가 약 60%로 급격히 감소한 것과 비교해 유의미하게 높은 성능을 보였다.
• 분류기층의 단독 확률적 성격(BNN)만으로도 전체 네트워크의 확률적 성격(F-BNN)과 유사한 강건성 향상을 달성했으며, 훈련 시간 증가 폭도 최소한도였다.
• BNN은 일반적인 입력 편향(Gaussian, Poisson 노이즈 등)에 대해 강건성 향상이 제한적이었으며, 결정론적 CNN가 이미 강력한 노이즈 제거 능력을 보였기 때문이다.
• GTSRB에서 $\varepsilon = 0.10$로 설정한 SPSA 공격는 큰 인간 눈에 띄는 편향을 생성했고, 모든 모델에서 실패했으며, 이는 제약 조건이 없는 공격가 BNN조차도 초월할 수 있음을 시사한다.
• BNN의 베이지안 사후 분포는 적대적 샘플을 감지하기 위한 안전 예측자로 잠재력을 보였으며, 이는 머신러닝 시스템의 사이버보안 모니터링에 활용 가능성을 시사한다.