[논문 리뷰] Overfitting in adversarially robust deep learning

Leslie Rice, Eric Wong외 1명|arXiv (Cornell University)|2020. 02. 26.

Adversarial Robustness in Machine Learning참고 문헌 72인용 수 46

한 줄 요약

논문은 강건한 과적합이 다수의 데이터셋과 위협 모델에 걸쳐 적대적 학습에서 널리 나타남을 보여주고, 조기 중단이 종종 최첨단 적대적 학습 방법과 동등하거나 더 우수한 강건 정확도를 달성한다. 수렴 시 규제 및 데이터 증가의 개선은 제한적이다.

ABSTRACT

It is common practice in deep learning to use overparameterized networks and train for as long as possible; there are numerous studies that show, both theoretically and empirically, that such practices surprisingly do not unduly harm the generalization performance of the classifier. In this paper, we empirically study this phenomenon in the setting of adversarially trained deep networks, which are trained to minimize the loss under worst-case adversarial perturbations. We find that overfitting to the training set does in fact harm robust performance to a very large degree in adversarially robust training across multiple datasets (SVHN, CIFAR-10, CIFAR-100, and ImageNet) and perturbation models ($\ell_\infty$ and $\ell_2$). Based upon this observed effect, we show that the performance gains of virtually all recent algorithmic improvements upon adversarial training can be matched by simply using early stopping. We also show that effects such as the double descent curve do still occur in adversarially trained models, yet fail to explain the observed overfitting. Finally, we study several classical and modern deep learning remedies for overfitting, including regularization and data augmentation, and find that no approach in isolation improves significantly upon the gains achieved by early stopping. All code for reproducing the experiments as well as pretrained model weights and training logs can be found at https://github.com/locuslab/robust_overfitting.

연구 동기 및 목표

• 적대적으로 학습된 네트워크에서 과적합이 발생하고 이를 통해 강건 성능에 해가 되는지 입증한다.
• 학습률 일정이 강건한 과적합에 미치는 영향과 모델 복잡성을 특징짓는다.
• 정규화, 데이터 증강, 준지도 학습과 같은 고전적·현대적 해결책이 강건한 과적합 완화에 어느 정도 기여하는지 평가한다.
• 조기 중단이 최근의 적대적 학습 개선과 동등하거나 이를 능가할 수 있는지 보여준다.

제안 방법

• SVHN, CIFAR-10/100, ImageNet 전반에 걸친 적대적으로 강건한 모델의 경험적 학습.
• 다양한 학습률 스케줄 하에서 학습 진행에 따른 강건한 검정 오차 분석.
• Vanilla PGD, TRADES 및 기타 알고리즘의 비교.
• 정규화, 데이터 증강, 그리고 준지도 학습에 대한 제거 연구(ablations).
• 조기 중단의 효과를 검증하기 위한 홀드아웃 검증 및 강건 성능에의 영향 확인.

실험 결과

연구 질문

• RQ1 적대적으로 학습된 네트워크에서 과적합이 발생하고 이는 강건한 검정 성능에 어떤 영향을 미치는가?
• RQ2 강건한 과적합에 영향을 주는 학습률 스케줄과 모델 복잡성은 무엇인가?
• RQ3 정규화, 데이터 증강 또는 준지도 방법이 강건한 과적합을 완화할 수 있으며, 이는 조기 중단과 어떻게 비교되는가?
• RQ4 조기 중단이 최신의 강건성 향상 기법의 강건성 이득에 도달하거나 이를 능가하는가?

주요 결과

Dataset	Norm	Radius	Final	Best	Diff
SVHN	l_infty	8/255	45.6±0.40	39.0	6.6
SVHN	l2	128/255	26.4±0.27	25.2	1.2
CIFAR-10	l_infty	8/255	51.4±0.41	43.2	8.2
CIFAR-10	l2	128/255	31.1±0.46	28.4	2.7
CIFAR-100	l_infty	8/255	78.6±0.39	71.9	6.7
CIFAR-100	l2	128/255	62.5±0.09	56.8	5.7
ImageNet	l_infty	4/255	85.5±8.87	62.7	22.8
ImageNet	l2	76/255	94.8±1.16	63.0	31.8

• 강건한 과적합은 적대적 학습에서 지배적인 현상이며, 학습률 감소 및 추가 학습 후 강건 검정 오차가 증가한다.
• 조기 중단은 최첨단 적대적 학습 이득과 동등하거나 능가할 수 있으며, CIFAR-10에서의 TRADES에 비해 Vanilla PGD와 조기 중단으로도 강건 성능에 도달할 수 있다.
• 더 부드러운 학습률 스케줄은 강건한 과적합을 방지하지 못하며, 불연속적인 구간감쇠가 학습 중 최상의 강건 성능을 낳는다.
• 수정된 정규화와 일반적인 데이터 증강은 수렴 시 조기 중단에 비해 제한된 개선을 제공하며, 부분적으로 조기 중단과 결합된 준지도 증강은 도움이 될 수 있다.
• 모델 용량을 증가시키면 강건 검정 성능이 향상되지만 강건한 과적합이 동시에 존재하므로 이중 하강과 강건한 과적합은 별개의 현상임을 시사한다.