[논문 리뷰] Bayesian Adversarial Spheres: Bayesian Inference and Adversarial Examples in a Noiseless Setting

Artur Bekasov, Iain Murray|arXiv (Cornell University)|2018. 11. 29.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 8

한 줄 요약

이 논문은 노이즈 없는 적대적 구면 설정에서 베이지안 추론을 조사하며, 깊은 모델이 완벽한 검증 정확도를 달성함에도 불구하고 확신 있는 오분류를 보이는 현상을 다룹니다. MCMC와 변분 추론을 사용한 베이지안 로지스틱 회귀를 통해, 적절한 베이지안 방법만이 적대적 예제에 대한 지식적 불확실성을 포착함을 보여주며, 표준 정규화 및 근사 추론 방법은 이를 탐지하지 못함을 밝힙니다.

ABSTRACT

Modern deep neural network models suffer from adversarial examples, i.e. confidently misclassified points in the input space. It has been shown that Bayesian neural networks are a promising approach for detecting adversarial points, but careful analysis is problematic due to the complexity of these models. Recently Gilmer et al. (2018) introduced adversarial spheres, a toy set-up that simplifies both practical and theoretical analysis of the problem. In this work, we use the adversarial sphere set-up to understand the properties of approximate Bayesian inference methods for a linear model in a noiseless setting. We compare predictions of Bayesian and non-Bayesian methods, showcasing the advantages of the former, although revealing open challenges for deep learning applications.

연구 동기 및 목표

• 표준 일반화가 완벽한 상황에서도 지속되는 적대적 예제가 존재하는 노이즈 없는 설정에서 지식적 불확실성 연구.
• 표준 딥러닝 모델이 실패할 때 베이지안 방법이 적대적 예제를 탐지할 수 있는지 평가.
• MCMC, 변분 추론, 부트스트랩 앙상블의 성능을 적대적 조건 하에서의 불확실성 포착 능력과 비교.
• 우도 선택과 모델 아키텍처가 고차원, 선형으로 분리 가능한 문제에서의 불확실성 추정에 미치는 영향 조사.

제안 방법

• 알고리즘적 불확실성을 제거하기 위해 결정론적 레이블을 가진 두 개의 동심 초구로 구성된 합성 데이터셋 사용.
• 축에 평행한 타원형 결정 경계를 모델링하기 위해 제곱 특징을 사용한 베이지안 로지스틱 회귀 적용.
• 정확한 사후 분포 근사에 MCMC를, 표준 및 계층적 파rameterization을 사용한 변분 추론을 적용.
• 고차원, 선형으로 분리 가능한 설정에서 약한 정보를 반영하기 위해 넓은 등방성 가우시안 우선분포(σw = 100) 사용.
• 모델의 신뢰도와 검증 포인트 및 적대적 예제에서의 오류율을 다양한 방법 간에 비교.
• 가중치 공간에서의 불확실성 구조 분석을 위해 저차원 투영에 대한 사후 분포 시각화.

실험 결과

연구 질문

• RQ1 표준 모델이 100% 검증 정확도를 달성하는 노이즈 없고 결정론적 설정에서 베이지안 방법이 적대적 예제를 탐지할 수 있는가?
• RQ2 MCMC, 변분 추론, 부트스트랩 등 다양한 근사 추론 방법이 적대적 입력에 대한 지식적 불확실성을 추정하는 데 어떻게 성능을 내는가?
• RQ3 모델 용량이나 우선분포 설정이 고차원, 선형으로 분리 가능한 문제에서 불확실성 추정 능력에 영향을 미치는가?
• RQ4 데이터 노이즈가 없는 상황에서 표준 정규화 기법이 왜 적대적 예제를 방지하지 못하는가?
• RQ5 더 풍부한 변분 가족이 불확실성 추정을 향상시킬 수 있는가, 아니면 더 나은 사후 근사에도 불구하고 최종 성능은 악화되는가?

주요 결과

• 노이즈 없는 적대적 구면 데이터셋에 대해 훈련된 선형 모델조차 확신 있는 오분류를 보이며, 이는 적대적 예제가 데이터 노이즈가 아니라 지식적 불확실성에서 기인함을 보여줌.
• MCMC 기반의 베이지안 추론은 적대적 예제에 대해 높은 불확실성을 정확히 식별하면서도, 내재된 검증 포인트에서는 높은 신뢰도를 유지함.
• 부트스트랩 앙상블은 적대적 예제를 탐지하지 못함으로써, 이 설정에서 모델 평균화가 지식적 불확실성을 포착하지 못함을 시사함.
• 더 유연한 계층적 우선분포는 더 큰 가중치 크기를 허용함으로써 MCMC 사후 근사에 도움을 주며, 진정한 사후 분포와 일치하는 경향을 보임.
• 표준 변분 추론 근사는 불확실성을 과소평가하고 큰 가중치를 배제하지만, 사후 근사가 열악함에도 불구하고 벤치마크에서 놀랍도록 잘 성능을 내며 유지됨.
• 변분 가족의 복잡도를 높여도 최종 성능 향상이 이루어지지 않아, 사후 근사 정확도가 항상 예측 성공률과 관련이 있지는 않음을 시사함.