[논문 리뷰] On the Sensitivity of Adversarial Robustness to Input Data Distributions

Gavin Weiguang Ding, Kry Yik Chau Lui외 3명|arXiv (Cornell University)|2019. 02. 22.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 신경망에서의 적대적 로버스트니가 입력 데이터 분포의 의미를 유지하는 변환에 매우 민감함을 보여주며, 클린 정확도와는 달리 이는 안정하지 않다. 동일한 분포에서 재학습하더라도 로버스트니는 크게 변동하며, 이는 데이터 분포 자체가 로버스트니를 결정할 수 있음을 시사하며, 기존 평가 관행에 도전한다.

ABSTRACT

Neural networks are vulnerable to small adversarial perturbations. Existing literature largely focused on understanding and mitigating the vulnerability of learned models. In this paper, we demonstrate an intriguing phenomenon about the most popular robust training method in the literature, adversarial training: Adversarial robustness, unlike clean accuracy, is sensitive to the input data distribution. Even a semantics-preserving transformations on the input data distribution can cause a significantly different robustness for the adversarial trained model that is both trained and evaluated on the new distribution. Our discovery of such sensitivity on data distribution is based on a study which disentangles the behaviors of clean accuracy and robust accuracy of the Bayes classifier. Empirical investigations further confirm our finding. We construct semantically-identical variants for MNIST and CIFAR10 respectively, and show that standardly trained models achieve comparable clean accuracies on them, but adversarially trained models achieve significantly different robustness accuracies. This counter-intuitive phenomenon indicates that input data distribution alone can affect the adversarial robustness of trained neural networks, not necessarily the tasks themselves. Lastly, we discuss the practical implications on evaluating adversarial robustness, and make initial attempts to understand this complex phenomenon.

연구 동기 및 목표

• 유사한 작업을 수행하는 데이터셋, 예를 들어 MNIST와 CIFAR10 간에 클린 정확도는 유사하지만 적대적 로버스트니가 상이하게 나타나는 이유를 조사하기 위해.
• 모델이 새로운 분포에서 재학습된 후에도 의미적으로 동일한 데이터 변환에 의해 적대적 로버스트니가 영향을 받는지 조사하기 위해.
• 로버스트니가 학습 알고리즘의 성질일 뿐 아니라 데이터 분포에 의해 영향을 받을 수 있음을 보여주어, 이를 기존의 가정에 도전하기 위해.
• 이 민감성의 실용적 영향을 모델 벤치마킹 및 실제 적용에 대해 평가하기 위해.
• 이 분포 기반 로버스트니 현상의 근본 원리를 이해하기 위한 기초를 마련하기 위해.

제안 방법

• 역행할 수 있는 데이터 변환 하에서 베이즈 오차와 로버스트 오차의 이론적 분석을 통해, 일반 베이즈 오차는 불변이지만 로버스트 오차는 그렇지 않음을 보여주었다.
• 완전한 로버스트니가 불가능한 조건을 유도하였으며, 특히 데이터가 균일 분포일 경우에 초점을 맞추었다.
• MNIST와 CIFAR10에 대한 의미적으로 동일한 데이터 변형을 설계하였으며, 이는 이진화된 MNIST, 감마 보정된 CIFAR10, 패션-MNIST, 엣지 검출 변형 등이 포함되었다.
• 표준 및 적대적으로 학습된 모델을 이러한 변형에서 평가하여, 다양한 데이터 분포에서 클린 정확도와 로버스트 정확도를 측정하였다.
• 모델 용량과 학습 세트 크기를 체계적으로 분석하여, 다양한 데이터 분포 하에서의 로버스트니에 미치는 영향을 평가하였다.
• Wong & Kolter (2018)와 같은 인증된 로버스트니 방법을 사용하여 이진화된 MNIST에서의 로버스트니를 검증하였으며, 높은 클린 정확도에도 불구하고 낮은 로버스트 오차(최대 3%)를 확인하였다.

실험 결과

연구 질문

• RQ1 의미적으로 보존되는 입력 데이터 분포의 변환에 대해 적대적 로버스트니가 유지되는가?
• RQ2 클린 정확도는 유사하지만 MNIST에서 학습된 모델이 CIFAR10에서 학습된 모델보다 훨씬 높은 로버스트 정확도를 달성하는 이유는 무엇인가?
• RQ3 의미적으로 동일한 데이터 분포로 변형된 데이터에서 재학습한 모델이 극적으로 다른 로버스트니를 보일 수 있는가?
• RQ4 모델 용량과 학습 세트 크기가 데이터 분포가 변경되었을 때 로버스트니에 어떤 영향을 미치는가?
• RQ5 작업이나 모델과는 독립적으로 데이터 분포 자체가 적대적 로버스트니에 얼마나 영향을 미치는가?

주요 결과

• 적대적 로버스트니는 입력 데이터 분포에 매우 민감함: 의미적으로 동일한 데이터 변형(예: 감마 보정된 CIFAR10)이라도 로버스트 정확도에 크게 영향을 미침.
• 표준 학습은 MNIST와 그 변형에서 유사한 클린 정확도를 달성하지만, 적대적으로 학습된 모델은 로버스트 정확도에서 상이함. 예를 들어, 동일한 편차 예산 하에서 MNIST에서는 89.3%의 로버스트 정확도를, CIFAR10에서는 45.8%를 기록함.
• 이진화된 MNIST는 Wong & Kolter (2018)의 인증 방법을 통해 최대 3% 이내의 인증된 로버스트 오차를 달성하여, 의미적으로 MNIST와 동일함에도 불구하고 높은 로버스트니를 보임.
• PGD로 학습된 모델의 로버스트 정확도는 MNIST 변형에서 모델 용량과 학습 세트 크기가 증가함에 따라 포화 상태에 도달함을 보여주며, 이는 특정 임계값을 초과하면 추가적인 이득이 제한됨을 시사함.
• CIFAR10 변형에서는 더 큰 모델과 더 많은 데이터로 인해 로버스트 정확도가 계속 향상됨을 보여주며, 이는 데이터 분포와 샘플 복잡도 간의 복잡한 상호작용을 시사함.
• 이진화된 MNIST와 ∞-포화된 CIFAR10는 서로 다른 샘플 복잡도 행동을 보이며, 이는 이진화 자체가 로버스트니 특성 전체를 결정하지는 않음을 보여줌.