[논문 리뷰] The Curious Case of Adversarially Robust Models: More Data Can Help, Double Descend, or Hurt Generalization

Yifei Min, Lin Chen외 1명|arXiv (Cornell University)|2020. 02. 25.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 30

한 줄 요약

이 논문은 적대적 강건성 모델의 일반화에 대해 학습 데이터 양이 늘어나면 해로울 수도, 도움이 될 수도, 혹은 이중 하강(double descent)을 유발할 수 있음을 보여주며, 이는 적대자(공격자)의 강도와 손실 함수에 따라 달라진다.

ABSTRACT

Adversarial training has shown its ability in producing models that are robust to perturbations on the input data, but usually at the expense of decrease in the standard accuracy. To mitigate this issue, it is commonly believed that more training data will eventually help such adversarially robust models generalize better on the benign/unperturbed test data. In this paper, however, we challenge this conventional belief and show that more training data can hurt the generalization of adversarially robust models in the classification problems. We first investigate the Gaussian mixture classification with a linear loss and identify three regimes based on the strength of the adversary. In the weak adversary regime, more data improves the generalization of adversarially robust models. In the medium adversary regime, with more training data, the generalization loss exhibits a double descent curve, which implies the existence of an intermediate stage where more training data hurts the generalization. In the strong adversary regime, more data almost immediately causes the generalization error to increase. Then we move to the analysis of a two-dimensional classification problem with a 0-1 loss. We prove that more data always hurts the generalization performance of adversarially trained models with large perturbations. To complement our theoretical results, we conduct empirical studies on Gaussian mixture classification, support vector machines (SVMs), and linear regression.

연구 동기 및 목표

• 적대적 학습이 변형되지 않은(test 데이터에 대한) 일반화에 미치는 영향에 대해 동기를 부여하고 분석한다.
• 더 많은 데이터가 일반화에 도움이 되거나 해를 주거나 이중 하강을 유발하는 약한, 중간, 강한 적대자(공격자) 영역을 식별한다.
• 손실 함수(선형 및 0-1)와 모델 설정(가우시안 혼합, 맨해튼 모델) 간의 차이를 특성화한다.
• 여러 모델(SVM, 선형 회귀, 가우시안 혼합)에 걸친 이론적 결과를 경험적 연구로 보완하여 제시한다.

제안 방법

• 무한 노름 볼에서의 적대적 교란을 가진 강건 분류기를 정의하고 일반화 오차 L_n을 분석한다.
• 선형 손실을 사용하는 가우시안 혼합 분류를 연구하여 세 가지 적대자 영역과 위상전이(Theorem 1)를 확립한다.
• 0-1 손실을 분석하기 위해 맨해튼 모델을 도입하고 약한/강한 영역의 거동(Theorem 4)을 입증한다.
• 가우시안 혼합에 대해 0-1 손실, SVM, 선형 회귀에 대한 실험을 수행하여 데이터 크기의 효과를 관찰한다.
• 추론을 사용하여 특별한 경우의 거동을 설명한다(예: 평균이 같고 분산도 같은 경우).

실험 결과

연구 질문

• RQ1 더 많은 학습 데이터가 적대적으로 강건한 모델의 일반화를 개선하는 조건은 무엇인가?
• RQ2 데이터 크기가 커짐에 따라 적대적 강건성이 이중하강 현상을 유발할 수 있는가?
• RQ3 다른 손실 함수(선형 vs 0-1)와 문제 설정이 적대적 학습 하에서 데이터 규모에 따른 일반화 거동에 어떻게 영향을 미치는가?
• RQ4 가우시안 혼합에서 관찰된 경험적 경향이 SVM과 선형 회귀에 확장되는가?
• RQ5 적대자 강도의 임계값은 약한, 중간, 강한 영역을 어떻게 구분하는가?

주요 결과

• 세 가지 적대자 영역이 존재한다: 더 많은 데이터가 항상 일반화를 개선하는 약한 적대자; 이중 하강 패턴이 발생할 수 있는 중간 적대자; 더 많은 데이터가 일반화를 악화시킬 수 있는 강한 적대자.
• 선형 손실을 가진 가우시안 혼합에서는 δ1, δ2라는 임계치가 존재하고 데이터가 증가함에 따라 단조 개선, 이중 하강, 또는 단조 악화의 영역이 존재한다(Theorem 1).
• 맨해튼 모델에서 0-1 손실 하에, 작은 섭동(ε<2μ)에 대해 강건 분류가 제로 일반화 오차를 가질 수 있고, 더 큰 섭동에서 데이터 증가에 따라 일반화 오차가 증가한다(정리 4).
• 가우시안 혼합, SVM, 선형 회귀에 대한 실험 결과는 이론적 약한/강한 영역 거동과 일치하는 경향을 보이며, 더 강한 적대자에서 더 많은 데이터로 테스트 손실이 증가하는 사례를 포함한다.
• 연구 결과는 적대적 학습이 항상 변형되지 않은 일반화에 이익을 주지 않을 수 있으며, 이중 강건성과 일반화를 달성하기 위해서는 현재 프레임워크에 새로운 아이디어가 필요할 수 있음을 시사한다.