[논문 리뷰] Comment on "Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network"

R. Zimmermann|arXiv (Cornell University)|2019. 07. 01.

Adversarial Robustness in Machine Learning참고 문헌 4인용 수 15

한 줄 요약

이 논문은 $l_∞$ 적대적 공격에 대비하는 베이지안 신경망 방어인 Adv-BNN의 강건성 주장에 대해 비판적으로 접근하며, 그가 보고한 우월성이 열악한 공격 방법에 기인해 발생했음을 입증한다. 저자들은 스위치 무게 샘플 간의 기울기 추정을 안정화시키는 평균화된 PGD(A-PGD) 공격을 제안하여, 더 강력한 공격으로 평가했을 때 Adv-BNN이 표준 적대적 트레이닝을 받은 네트워크보다 더 강건하지 않음을 드러낸다. A-PGD로 생성된 예제로 재학습하면 강건성이 복원되며, 이는 원래 평가가 기울기 불안정성으로 인해 편향되었음을 보여준다.

ABSTRACT

A recent paper by Liu et al. combines the topics of adversarial training and Bayesian Neural Networks (BNN) and suggests that adversarially trained BNNs are more robust against adversarial attacks than their non-Bayesian counterparts. Here, I analyze the proposed defense and suggest that one needs to adjust the adversarial attack to incorporate the stochastic nature of a Bayesian network to perform an accurate evaluation of its robustness. Using this new type of attack I show that there appears to be no strong evidence for higher robustness of the adversarially trained BNNs.

연구 동기 및 목표

• Adv-BNN, 즉 베이지안 신경망 방어의 $l_∞$ 적대적 공격 조건 하에서의 강건성을 더 정확한 적대적 공격 조건 하에서 평가하기 위해.
• 원래 Adv-BNN 논문에서 사용된 공격 방법론의 결함을 특정하며, 특히 베이지안 네트워크의 확률적 특성을 고려하지 못한 점을 지적하기 위해.
• Adv-BNN가 보고한 강건성 향상 효과가 부적절한 공격의 산물일 뿐 진정된 강건성 향상은 아니라는 것을 입증하기 위해.
• 기대 기울기 추정을 통해 무게 분포의 확률적 특성을 적절히 반영하는 더 강력한 공격 방법—평균화된 PGD(A-PGD)—를 제안하고 검증하기 위해.
• A-PGD로 생성된 적대적 예제로 Adv-BNN을 재학습하면 더 강건한 모델을 얻을 수 있음을 보여주어, 방어 평가에서 공격의 정밀도가 얼마나 중요한지 확인하기 위해.

제안 방법

• 스위치 무게 샘플 $\bm{\epsilon}$를 기반으로 기대 기울기를 추정하는 평균화된 PGD(A-PGD) 공격을 제안하여 기울기 상승 과정의 안정성을 높임.
• 기본 PGD 업데이트 규칙을 단일 샘플 기울기에서 $\bm{\epsilon}$에 대한 기대값으로 대체하여, 베이지안 네트워크에서의 수렴성과 공격 신뢰도를 향상시킴.
• 원래 Adv-BNN 논문과 동일한 네트워크 아키텍처와 학습 설정을 사용하며, 기대 출력을 근사하기 위해 추론 시 앙상블 크기를 40으로 설정함.
• $l_\infty$-제한된 변형을 사용하며, 반경 $\gamma = 0.035$ 및 $\gamma = 0.07$를 적용하고, 150단계 동안 공격를 실행하여 수렴을 확인함.
• 공개된 모델과 코드를 사용하여 STL-10 데이터셋에서 원래 Adv-BNN과 적대적 트레이닝을 받은 표준 CNN을 재현함.
• A-PGD 공격로 생성된 적대적 예제를 사용하여 Adv-BNN을 재학습하여, 개선된 강건성을 달성할 수 있는지 평가함.

실험 결과

연구 질문

• RQ1 보다 정확하고 기울기 안정화된 공격 방법을 사용했을 때, Adv-BNN이 $l_\infty$ 공격에 대해 보고한 강건성이 유지되는가?
• RQ2 Adv-BNN이 표준 적대적 트레이닝 네트워크를 초월하는 성능 향상은 진정한 강건성 향상 때문인가, 아니면 공격가가 무게의 확률적 특성을 다루지 못한 결과인가?
• RQ3 제안된 A-PGD 공격를 사용하여 적대적 트레이닝을 수행하면, 베이지안 신경망을 더 강건하게 만들 수 있는가?
• RQ4 공격 방법의 선택이 베이지안 신경망의 인식된 강건성에 어떤 영향을 미치는가?
• RQ5 스위치 네트워크에서의 기울기 불안정성이 적대적 강건성 평가의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 기본 PGD 공격로 평가했을 때, 원래 Adv-BNN 방어는 표준 적대적 트레이닝 네트워크보다 현저히 더 강건해 보이며, $\gamma = 0.035$에서 37.6%의 정확도를 기록함.
• 제안된 A-PGD 공격로 평가했을 때, Adv-BNN의 정확도는 $\gamma = 0.035$에서 30.3%로 하락하여, 원래 공격에서의 기울기 불안정성으로 인해 강건성이 과대평가되었음을 시사함.
• A-PGD 평가 하에서 표준 적대적 트레이닝 CNN은 Adv-BNN를 능가하며, $\gamma = 0.035$에서 38.2%의 정확도를 기록함으로써, Adv-BNN이 일관된 강건성 이점을 제공하지는 않음을 보여줌.
• A-PGD로 생성된 예제로 Adv-BNN을 재학습하면 강건성이 향상되어 $\gamma = 0.035$에서 31.2%의 정확도를 기록함으로써, 원래 Adv-BNN을 초월하고 표준 CNN과 유사한 성능을 달성함.
• A-PGD 공격는 기본 PGD 공격보다 베이지안 네트워크의 진정된 강건성을 드러내는 데 더 효과적이며, 기대 기울기 평균화가 정확한 평가에 필수적임을 입증함.
• 연구는 베이지안 신경망의 강건성이 공격 방법의 정밀도에 매우 민감하며, 간단한 공격은 모델 성능에 대한 잘못된 결론을 이끌 수 있음을 결론 내림.