[논문 리뷰] Towards Understanding Adversarial Examples Systematically: Exploring Data Size, Task and Model Factors

Ke Sun, Zhanxing Zhu외 1명|arXiv (Cornell University)|2019. 02. 28.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 17

한 줄 요약

이 논문은 데이터 크기, 작업 복잡도, 모델 아키텍처를 분석하여 딥 네ural 네트워크에서의 적대적 강건성에 체계적으로 접근한다. 표준 학습에서 강건한 일반화를 달성하기 위해서는 표준 일반화보다 더 많은 데이터가 필요하며, 데이터가 제한된 영역에서는 정확도와 강건성 사이에 트레이드오프가 존재하지만, 데이터가 증가함에 따라 이 트레이드오프가 사라지며 결국 공동 최적 성능으로 수렴한다.

ABSTRACT

Most previous works usually explained adversarial examples from several specific perspectives, lacking relatively integral comprehension about this problem. In this paper, we present a systematic study on adversarial examples from three aspects: the amount of training data, task-dependent and model-specific factors. Particularly, we show that adversarial generalization (i.e. test accuracy on adversarial examples) for standard training requires more data than standard generalization (i.e. test accuracy on clean examples); and uncover the global relationship between generalization and robustness with respect to the data size especially when data is augmented by generative models. This reveals the trade-off correlation between standard generalization and robustness in limited training data regime and their consistency when data size is large enough. Furthermore, we explore how different task-dependent and model-specific factors influence the vulnerability of deep neural networks by extensive empirical analysis. Relevant recommendations on defense against adversarial attacks are provided as well. Our results outline a potential path towards the luminous and systematic understanding of adversarial examples.

연구 동기 및 목표

• 고립된 가설을 넘어서 적대적 예외에 대한 체계적인 이해를 제공하기 위해.
• 데이터 크기가 표준 일반화와 적대적 강건성 사이의 트레이드오프에 어떻게 영향을 미치는지 조사하기 위해.
• 입력 차원, 클래스 수와 같은 작업 기반 요소가 모델의 취약성에 미치는 영향을 분석하기 위해.
• 모델 고유의 요소(아키텍처, 용량)가 강건성에 미치는 역할을 평가하기 위해.
• 적대적 방어 전략을 향상시키기 위한 근거 기반 권고를 제공하기 위해.

제안 방법

• 다양한 훈련 데이터 크기에서 강건성과 일반화를 실험적으로 평가하며, 보조 분류기 GAN(ACGAN)을 통한 데이터 증강을 포함한다.
• MNIST, SVHN, CIFAR10에서 CNN, 로지스틱 회귀, LinearSVM 등 다양한 아키텍처 간 성능을 비교한다.
• 통제된 환경에서 FGSM, PGD, CW 공격에 대한 성공 방어 비율을 측정하여 강건성을 측정한다.
• 기울기 기반 공격에 대한 강건성과 모델 용량 간의 상관관계를 분석하기 위해 기울기 크기(L1, L2, Linf 노름)를 분석한다.
• 합성곱층의 필터 수를 늘려 모델 용량을 체계적으로 변화시켜 적대적 강건성에 미치는 영향을 평가한다.
• CNN과 로지스틱 회귀에는 표준 교차 엔트로피 손실을, LinearSVM에는 다중 클래스 허프 손실을 사용하여 공정한 비교를 확보한다.

실험 결과

연구 질문

• RQ1 표준 학습에서 적대적으로 강건한 일반화를 달성하기 위해 표준 일반화보다 더 많은 훈련 데이터가 필요한가?
• RQ2 데이터 크기가 증가함에 따라 표준 일반화와 강건성 사이의 트레이드오프는 어떻게 변화하는가? 특히 데이터 증강이 적용된 경우 어떻게 되는가?
• RQ3 입력 차원과 분류 클래스 수와 같은 작업 기반 요소는 모델의 적대적 예외에 대한 취약성에 어떻게 영향을 미치는가?
• RQ4 모델 용량을 증가시키는 것이 강건성을 향상시키는 데 어느 정도 기여하는가? 특히 기울기 기반 공격이 아닌 공격(예: CW)에 대해 어떻게 되는가?
• RQ5 기울기 크기와 모델 용량 간의 관계는 적대적 강건성에 어떻게 영향을 미치는가?

주요 결과

• 표준 학습에서 적대적으로 강건한 일반화를 달성하기 위해서는 표준 일반화보다 더 많은 데이터가 필요하며, 정확도와 강건성 사이의 트레이드오프가 사라지는 데이터 크기의 임계값이 존재한다.
• 데이터가 충분히 크다면 강건한 일반화가 표준 일반화로 수렴하며, 이는 대규모 데이터 환경에서 강건성과 일반화 간의 일관성을 시사한다.
• 입력 차원이 증가함에 따라 강건성이 처음에는 증가하다가 감소하는 경향을 보이며, 분류 클래스 수가 증가함에 따라 단조롭게 감소한다.
• 기울기 기반 공격(FGSM, PGD)에 대한 저항력은 향상되지만, 모델 용량을 증가시키더라도 CW 공격에 대한 강건성은 향상되지 않아, 실제 강건성 향상은 국한되어 있음을 시사한다.
• 더 큰 모델은 더 작은 기울기 크기(L1, L2, Linf 노름)를 보이며, 이는 기울기 기반 공격에 대한 저항력 향상을 시사하지만, CW와 같은 최적화 기반 공격에는 확장되지 않는다.
• CNN은 일반화와 강건성 모두에서 로지스틱 회귀와 LinearSVM를 능가하며, 동일 조건에서 딥 네트워크가 전통적 모델보다 본질적으로 더 강건함을 보여준다.