[논문 리뷰] Robustness of Bayesian Neural Networks to Gradient-Based Attacks

Ginevra Carbone, Matthew Wicker외 4명|arXiv (Cornell University)|2020. 02. 11.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 27

한 줄 요약

이 논문은 대규모 데이터 및 과다매개변수 조건에서 데이터 분포의 특이성으로 인해 베이지안 신경망(BNNs)이 기울기 기반 적대적 공격에 대해 증명 가능하게 강건해짐을 보여준다. 이론적 분석은 BNN의 사후 평균화 과정에서 손실 함수의 기대 기울기가 사라짐을 보이며, MNIST 및 패션-MNIST에 대한 실험은 HMC와 VI로 훈련된 BNN이 높은 정확도와 함께 강건성을 확보함을 확인한다. 이는 결정론적 네트워크에서 흔히 관찰되는 정확도-강건성 상충 관계를 뒤집는 결과를 낳는다.

ABSTRACT

Vulnerability to adversarial attacks is one of the principal hurdles to the adoption of deep learning in safety-critical applications. Despite significant efforts, both practical and theoretical, the problem remains open. In this paper, we analyse the geometry of adversarial attacks in the large-data, overparametrized limit for Bayesian Neural Networks (BNNs). We show that, in the limit, vulnerability to gradient-based attacks arises as a result of degeneracy in the data distribution, i.e., when the data lies on a lower-dimensional submanifold of the ambient space. As a direct consequence, we demonstrate that in the limit BNN posteriors are robust to gradient-based adversarial attacks. Experimental results on the MNIST and Fashion MNIST datasets with BNNs trained with Hamiltonian Monte Carlo and Variational Inference support this line of argument, showing that BNNs can display both high accuracy and robustness to gradient based adversarial attacks.

연구 동기 및 목표

• 대규모 데이터 및 과다매개변수 조건에서 베이지안 신경망(BNNs)의 적대적 강건성의 이론적 근원을 이해하는 것.
• 결정론적 딥 러닝 모델에서 관찰되는 잘 알려진 정확도-강건성 상충 관계가 BNN에서도 존재하는지 조사하는 것.
• 낮은 차원의 데이터 다양체와 연결된 기하학적 설명을 통해 결정론적 네트워크의 적대적 취약성 원인을 규명하고, BNN이 사후 평균화를 통해 이를 어떻게 완화하는지 설명하는 것.
• HMC와 변분 추론(VI)을 사용하여 MNIST 및 패션-MNIST 데이터셋에서 이론적 주장의 실증적 검증을 수행하는 것.
• 표준 기울기 기반 공격(예: FGSM 및 PGD)에 대한 BNN의 실용적 영향을 탐색하고, 모델 용량과 추론 방법의 역할을 평가하는 것.

제안 방법

• 대규모 데이터 및 과다매개변수 조건에서의 이론적 분석을 수행하며, 데이터 분포의 기하학적 특성과 낮은 차원의 부분다양체 위의 지지 집합을 중심으로 다룬다.
• 논문은 이 조건에서 입력 데이터에 대한 손실 함수의 기울기의 사후 평균이 사라지며, 이는 기울기 기반 공격에 대한 면역성을 의미함을 증명한다.
• 결정론적 네트워크의 적대적 취약성은 데이터의 특이성—특히 데이터가 낮은 차원의 다양체 위에 존재할 경우—과 관련이 있음을 분석한다.
• MNIST 및 패션-MNIST에서 BNN 사후분포를 근사하기 위해 하미르톤 몬테카를로(HMC)와 변분 추론(VI)을 사용하여 실증적 검증을 수행한다.
• 정확도와 강건성 간의 상관관계를 분석하기 위해, 원본 입력과 적대적 입력 간의 소프트맥스 출력의 L-무한대 노름을 사용하여 강건성을 정량화하며, 이는 오분류의 부드러운 대체 지표로 기능한다.
• 수천 개의 BNN을 다양한 아키텍처와 추론 방법으로 평가하는 대규모 실험을 수행하여 정확도와 강건성 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 왜 대규모 데이터 조건에서 베이지안 신경망은 기울기 기반 적대적 공격에 강건한가?
• RQ2 BNN의 사후 평균화 과정에서 손실 함수의 기대 기울기가 제거되어 기울기 기반 공격가 무력화되는가?
• RQ3 결정론적 네트워크에서 관찰되는 정확도-강건성 상충 관계는 HMC 또는 VI로 훈련된 BNN에서도 동일하게 나타나는가?
• RQ4 모델의 너비와 추론 방법(HMC 대비 VI)이 유한한 데이터 조건에서 BNN의 강건성에 어떤 영향을 미치는가?
• RQ5 데이터 다양체의 기하학적 구조는 결정론적 네트워크에서의 적대적 취약성 발생과 BNN에서의 이를 완화하는 메커니즘을 설명할 수 있는가?

주요 결과

• 대규모 데이터 및 과다매개변수 조건에서 BNN 사후분포에 대한 손실 함수의 기대 기울기가 사라지며, 이는 기울기 기반 적대적 공격에 대한 이론적 면역성을 제공한다.
• MNIST 및 패션-MNIST에 대한 실험 결과, HMC로 훈련된 BNN은 정확도와 강건성 간에 양의 상관관계를 보이며, 전형적인 정확도-강건성 상충 관계를 뒤집는다.
• HMC로 훈련된 BNN의 경우 모델 너비가 증가할수록 강건성이 향상되며, 이는 과다매개변수화가 강건성을 향상시킨다는 이론적 주장과 일치한다.
• 변분 추론(VI)으로 훈련된 BNN은 HMC 대비 강건성이 떨어지며, 정확도-강건성 상관관계도 일관되지 않아 추정 오차나 모드 붕괴의 영향일 수 있다.
• 더 많은 사후 샘플을 취할수록 BNN 내 기울기의 크기가 감소하며, 이는 이론적 주장인 기울기 억제를 실증적으로 지지한다.
• 표준 기울기 기반 공격인 FGSM과 PGD는 BNN에서는 성공적인 적대적 예제를 생성하지 못하며, 특히 HMC로 훈련된 경우 실용적 강건성이 확인된다.