[논문 리뷰] Idealised Bayesian Neural Networks Cannot Have Adversarial Examples: Theoretical and Empirical Study.

Yarin Gal, Lewis Smith|arXiv (Cornell University)|2018. 06. 02.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 2

한 줄 요약

이 논문은 이상화된 베이지안 신경망(BNN)이 두 가지 충분조건을 만족할 경우 적대적 예제를 가질 수 없다는 것을 증명하며, 이론적으로도 실험적으로도 적대적 예제가 모델의 불완전성에서 비롯된다는 것을 보여줍니다. HMC 추론을 사용한 거의 이상화된 BNN은 지식 기반 불확실성(epistemic uncertainty)이 데이터 매니폴드 밀도와 관련이 있음을 보여주며, 이는 MC 드롭아웃이 방어 수단으로 작용하는 이유를 설명하고 근사 BNN에 대한 새로운 공격/방어 역학을 드러냅니다.

ABSTRACT

We prove, under two sufficient conditions, that idealised models can have no adversarial examples. We discuss which idealised models satisfy our conditions, and show that idealised Bayesian neural networks (BNNs) satisfy these. We continue by studying near-idealised BNNs using HMC inference, demonstrating the theoretical ideas in practice. We experiment with HMC on synthetic data derived from MNIST for which we know the ground-truth image density, showing that near-perfect epistemic uncertainty correlates to density under image manifold, and that adversarial images lie off the manifold in our setting. This suggests why MC dropout, which can be seen as performing approximate inference, has been observed to be an effective defence against adversarial examples in practice; We highlight failure-cases of non-idealised BNNs relying on dropout, suggesting a new attack for dropout models and a new defence as well. Lastly, we demonstrate the defence on a cats-vs-dogs image classification task with a VGG13 variant.

연구 동기 및 목표

• 베이지안 신경망이 적대적 예제에 대해 본질적으로 강건해지는 이론적 조건을 확립하기.
• 근사 추론 방법으로서의 MC 드롭아웃이 왜 적대적 방어 수단으로서 경험적으로 성공했는지 조사하기.
• 드롭아웃에 의존하는 비이상화된 BNN에서 발생하는 고장 모드를 특정하여 새로운 공격 및 방어 전략을 도출하기.
• 이론적 통찰을 이상화된 모델에서 유도한 바를 실세계 모델에 적용 가능한 실용적 방어 수단으로 전환하기 위해 검증하기.

제안 방법

• 이론적 분석을 통해 이상화된 BNN이 두 가지 충분조건을 만족할 경우 적대적 예제가 존재하지 않는다는 것을 증명합니다.
• 근사된 사후 분포를 추정하기 위해 HMC 추론을 사용하여 거의 이상화된 BNN에서 이론적 주장의 실증적 검증을 가능하게 합니다.
• 이론적 분석의 결과를 검증하기 위해 MNIST 매니폴드에서 유도된 합성 데이터를 생성하여 지식 기반 불확실성과 데이터 밀도 간의 상관관계를 분석합니다.
• 지식 기반 불확실성을 측정하고 데이터 밀도와 연관지어, 적대적 예제가 진짜 데이터 매니폴드 외부에 위치하는지 평가합니다.
• 비이상화된 BNN에서 발생하는 고장 모드를 기반으로 드롭아웃 기반 모델을 대상으로 하는 새로운 공격과 그에 상응하는 방어 메커니즘을 제안합니다.
• 제안된 방어 수단을 VGG13 변형을 사용한 고양이-개 이미지 분류 작업에서 평가합니다.

실험 결과

연구 질문

• RQ1 베이지안 신경망이 이론적으로 적대적 예제 없이 강건해지는 조건은 무엇인가요?
• RQ2 거의 이상화된 BNN에서의 지식 기반 불확실성은 기저 데이터 매니폴드 밀도와 어떻게 관련이 있나요?
• RQ3 MC 드롭아웃이 근사 추론 방법임에도 불구하고 왜 적대적 예제에 효과적인 방어 수단이 되는가요?
• RQ4 드롭아웃을 사용하는 비이상화된 BNN에서 나타나는 고장 모드는 무엇이며, 이를 어떻게 악용하거나 완화할 수 있나요?
• RQ5 이상화된 모델에서 도출된 이론적 통찰은 실세계 모델에 적용 가능한 실용적 방어 수단으로 전환될 수 있나요?

주요 결과

• 두 가지 충분조건을 만족하는 이상화된 베이지안 신경망은 적대적 예제가 존재하지 않음을 이론적으로 증명됩니다.
• HMC 추론을 사용한 거의 이상화된 BNN은 고지식 기반 불확실성이 높은 데이터 밀도 영역과 관련이 있음을 보여주며, 이는 적대적 예제가 진짜 데이터 매니폴드 외부에 위치한다는 것을 시사합니다.
• 합성 MNIST 유도 설정에서의 적대적 예제는 일관되게 이미지 매니폴드 외부에 위치함을 확인하여, 이는 분포 갭을 악용한다는 가설을 지지합니다.
• MC 드롭아웃의 효과적인 방어 기능은 이상화된 BNN의 지식 기반 불확실성을 근사할 수 있다는 점에서 설명됩니다.
• 비이상화된 BNN이 전체 사후 불확실성을 포괄하지 못하는 데 기반하여 드롭아웃 기반 모델을 대상으로 하는 새로운 공격이 특정되었으며, 이는 새로운 취약점임을 시사합니다.
• 제안된 방어 수단은 VGG13 변형을 사용한 고양이-개 분류 작업에서 표준 드롭아웃을 능가하며 실용적 적용 가능성을 입증합니다.