[논문 리뷰] More Data Can Expand the Generalization Gap Between Adversarially Robust and Standard Models

Lin Chen, Yifei Min외 2명|arXiv (Cornell University)|2020. 02. 11.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 19

한 줄 요약

이 논문은 $\varepsilon$-유계 $\pi$-노름 공격 하에서, 훈련 데이터를 늘리는 것이 오히려 적대적 강건성 모델과 표준 모델 간의 일반화 간격을 넓힐 수 있음을 입증한다. 가우시안, 베르누이 및 선형 회귀 모델에 대한 이론적 분석을 통해 두 가지 제도를 규명한다: 강력한 적 공격 제도(큰 $\varepsilon$)에서는 간격이 더 많은 데이터와 함께 무한히 증가하고, 약한 제도에서는 임계 데이터 임계값을 초과하면 간격이 결국 감소한다. 이 임계값은 임의로 클 수 있다. 이러한 결과는 강건 학습에서 더 많은 데이터가 항상 일반화를 향상시킨다는 전통적 믿음을 도전한다.

ABSTRACT

Despite remarkable success in practice, modern machine learning models have been found to be susceptible to adversarial attacks that make human-imperceptible perturbations to the data, but result in serious and potentially dangerous prediction errors. To address this issue, practitioners often use adversarial training to learn models that are robust against such attacks at the cost of higher generalization error on unperturbed test sets. The conventional wisdom is that more training data should shrink the gap between the generalization error of adversarially-trained models and standard models. However, we study the training of robust classifiers for both Gaussian and Bernoulli models under $\ell_\infty$ attacks, and we prove that more data may actually increase this gap. Furthermore, our theoretical results identify if and when additional data will finally begin to shrink the gap. Lastly, we experimentally demonstrate that our results also hold for linear regression models, which may indicate that this phenomenon occurs more broadly.

연구 동기 및 목표

• 훈련 데이터를 늘일수록 적대적 강건성 모델과 표준 모델 간의 일반화 간격이 줄어드는지 조사하기.
• 더 많은 데이터가 적대적 훈련에서 교차 일반화 간격을 줄이는 대신 확장하는 조건을 규명하기.
• 다양한 데이터 분포와 적의 강도에서 일반화 간격의 행동을 이론적 및 실증적으로 검토하기.
• 강건 머신 러닝에서 더 많은 데이터가 일반화를 항상 향상시킨다는 전통적 믿음을 도전하기.

제안 방법

• 가우시안 및 베르누이 데이터 분포에서 $\pi$-노름 유계 편향 하에 훈련된 강건 및 표준 모델의 이론적 분석.
• 적의 강도($\varepsilon$)가 신호 강도 대비 어떤지에 따라 일반화 간격이 훈련 샘플 수 $n$과 함께 증가하거나 감소하는 조건 유도.
• 강력한 적(간격이 $n$과 함께 증가)과 약한 적(임계값 이후 간격이 결국 감소) 사이의 제도 전이 식별.
• 다양한 $\varepsilon$와 $n$을 가진 합성 데이터를 사용한 선형 회귀 모델에 대한 실증 검증으로 제도 전이 존재 확인.
• 다양한 데이터 제도와 적의 강도에서 모델 성능을 비교하기 위해 스케일된 테스트 손실 사용.
• 이론적 및 실험적 설정에서 $n$에 대한 일반화 간격의 수렴 행동과 단조성 분석.

실험 결과

연구 질문

• RQ1 훈련 데이터 크기를 늘릴수록 항상 적대적 강건성 모델과 표준 모델 간의 일반화 간격이 줄어드는가?
• RQ2 더 많은 데이터가 일반화 간격을 줄이는 대신 증가시키는 조건는 무엇인가?
• RQ3 일반화 간격이 감소하기 시작하는 임계 데이터 임계값이 존재하는가?
• RQ4 적의 강도($\varepsilon$)가 데이터 신호 강도 대비 어떤지에 따라 일반화 행동의 제도가 어떻게 결정되는가?
• RQ5 선형 회귀 모델에서 증가하는 간격 행동과 감소하는 간격 행동 사이의 제도 전이가 유지되는가?

주요 결과

• 강력한 적 제도(큰 $\varepsilon$)에서는 강건 모델과 표준 모델 간의 일반화 간격이 훈련 데이터 크기와 함께 단조적으로 증가하며, $n \to \infty$일 때 유한한 극한에 도달한다.
• 약한 적 제도(작은 $\varepsilon$)에서는 일반화 간격이 $n$과 함께 처음에는 증가하지만, 임계 데이터 임계값을 초과하면 결국 감소한다. 이 임계값은 임의로 클 수 있다.
• 가우시안 모델의 경우, 증가 또는 감소 행동 간의 임계값은 $\varepsilon$와 신호 강도에 의존하며, 임계값을 임의로 크게 만들 수 있다. 즉, 더 많은 데이터가 간격을 항상 확장시킬 수 있다.
• 베르누이 모델에서는 일반화 간격이 진동 행동를 보이지만, 여전히 적의 제도에 따라 일반적으로 증가 또는 감소하는 경향을 따른다.
• 선형 회귀에 대한 실증 결과는 동일한 제도 전이 존재를 확인한다: 큰 $\varepsilon$에서는 강건 모델의 테스트 손실이 $n$과 함께 증가하고, 작은 $\varepsilon$에서는 감소한다.
• 약한 적의 경우 무한한 데이터 근처에서 교차 일반화 간격은 0으로 수렴하지만, 강력한 적의 경우 심지어 무한한 데이터에서도 0에서 벗어나 있는 유한한 간격을 유지한다.