[논문 리뷰] A Bayes-Optimal View on Adversarial Examples

Eitan Richardson, Yair Weiss|arXiv (Cornell University)|2020. 02. 20.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 5

한 줄 요약

이 논문은 베이즈 최적 분류기가 정확히 계산될 수 있는 처리 가능하고 현실적인 합성 데이터셋 프레임워크를 제안하며, 고차원 공간에서의 적대적 취약성은 필수적인 것이 아님을 보여준다. 이는 베이즈 최적 분류기가 증명 가능하게 강건함에도 불구하고, CNN은 항상 취약한 분류기를 학습하는 반면 RBF SVM는 신뢰성 있게 강건한 모델을 학습함으로써, 적대적 예제는 종종 학습 방법의 회피 가능한 실패이지 본질적인 기하학적 제약이 아니라는 것을 시사한다.

ABSTRACT

Since the discovery of adversarial examples - the ability to fool modern CNN classifiers with tiny perturbations of the input, there has been much discussion whether they are a "bug" that is specific to current neural architectures and training methods or an inevitable "feature" of high dimensional geometry. In this paper, we argue for examining adversarial examples from the perspective of Bayes-Optimal classification. We construct realistic image datasets for which the Bayes-Optimal classifier can be efficiently computed and derive analytic conditions on the distributions under which these classifiers are provably robust against any adversarial attack even in high dimensions. Our results show that even when these "gold standard" optimal classifiers are robust, CNNs trained on the same datasets consistently learn a vulnerable classifier, indicating that adversarial examples are often an avoidable "bug". We further show that RBF SVMs trained on the same data consistently learn a robust classifier. The same trend is observed in experiments with real images in different datasets.

연구 동기 및 목표

• 베이즈 최적 분류기를 효율적으로 계산할 수 있는 현실적이고 처리 가능한 이미지 데이터셋을 생성하기.
• 다양한 데이터 분포 조건 하에서 베이즈 최적 분류기가 증명 가능하게 강건한지 또는 취약한지를 분석하기.
• 동일한 데이터에서 CNN, 선형 SVM, RBF SVM를 비교하여 적대적 취약성의 근본 원인을 분리 분석하기.
• 최적 분류기에서의 강건성이 실제 모델로 이어지는지, 특히 대칭적 대비 비대칭 데이터 분포 하에서 평가하기.
• 대칭적 합성 데이터셋이 실제 데이터를 충분히 근사하여 적대적 강건성에 대한 결론을 도출할 수 있는지 평가하기.

제안 방법

• 혼합 요인 분석기(MFA) 모델을 사용하여 제어 가능한 분포적 성질을 가진 현실적인 고차원 데이터를 생성함으로써 합성 이미지 데이터셋을 구축하기.
• 베이즈 최적 분류기가 가우시안 혼합 성분 기반의 폐쇄형 해를 사용해 분석적으로 계산될 수 있도록 데이터 분포를 정의하기.
• 모든 L2 유계 적대적 편향에 대해 베이즈 최적 분류기가 증명 가능하게 강건한 조건을 분석적으로 유도하기.
• 동일한 합성 데이터셋에서 표준 CNN, 선형 SVM, RBF SVM를 학습하여 각 모델의 강건성을 베이즈 최적 기준과 비교하기.
• 대칭적 합성 데이터에서 CNN을 학습하고, 실존하는 CelebA 및 MNIST 데이터에서 테스트하여 실제 분포와의 유사성을 평가함으로써 일반화 성능 평가하기.
• 편향 크기(L2 노름)와 시각적 점검을 사용하여 다양한 모델과 데이터셋 간의 적대적 강건성 정량화하기.

실험 결과

연구 질문

• RQ1 어떤 분포 조건 하에서 고차원에서도 모든 적대적 공격에 대해 베이즈 최적 분류기가 증명 가능하게 강건한가?
• RQ2 베이즈 최적 분류기가 강건한 조건에서, 표준 CNN 학습이 강건한 분류기를 학습할 수 있는가, 아니면 취약성은 아키텍처 자체에 내재된 것인가?
• RQ3 RBF SVM와 같은 마진을 크게 확보하는 방법은 CNN이 실패하는 동일한 데이터에서 일관되게 강건한 분류기를 학습하는가?
• RQ4 대칭적 대비 비대칭 데이터 분포는 베이즈 최적 분류기의 강건성에 어떤 영향을 미치는가?
• RQ5 대칭적 합성 데이터셋이 실제 세계 데이터의 일반화 및 적대적 강건성 측면에서 얼마나 잘 근사하는가?

주요 결과

• 대칭적 데이터 분포에서, 베이즈 최적 분류기는 증명 가능하게 강건하며, 이를 뛰어넘기 위해 큰, 시각적으로 의미 있는 편향(L2 ≈ 3.0–3.1)이 필요하다.
• 베이즈 최적 분류기가 강건함에도 불구하고, 표준 CNN 학습은 항상 취약한 분류기를 학습하며, 대칭적 데이터셋에서의 적대적 공격 성공률은 0%에서 2% 사이이다.
• 동일한 데이터에서 학습된 RBF SVM는 항상 강건한 분류기를 학습하며, 대칭적 데이터셋에서 86%에서 100%의 적대적 정확도(공격 성공률 0%에서 26%)를 달성한다.
• 실제 CelebA 데이터에서 CNN과 선형 SVM는 높은 적대적 취약성을 보이며(예: 공격 성공률 5.3%에서 16.3%), 반면 RBF SVM는 향상된 강건성을 보이며(예: 공격 성공률 10.3%에서 32.3%),
• 대칭적 합성 데이터에서 학습한 CNN은 실제 데이터로의 일반화가 잘 되며, 평균 정확도 저하가 5% 이내이므로 합성 데이터의 현실성과 강건성 분 析에 대한 유용성을 검증한다.
• 결과적으로, CNN의 적대적 취약성은 고차원 기하학의 필수적 결과가 아니라 현재 학습 방법의 실패 때문이며, 대칭 조건 하에서 최적 분류기는 여전히 강건함을 시사한다.