[논문 리뷰] Data Augmentation Alone Can Improve Adversarial Training

Lin Li, Michael Spratling|arXiv (Cornell University)|2023. 01. 24.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

논문은 데이터 증강만으로도 다양성 및 난이도(Cropshift와 IDBH 프레임워크를 통해)에 대해 신중하게 설계될 경우 적대적 학습에서 정확도와 로버스트성을 크게 향상시킬 수 있으며, 초기 중단으로 베이스라인 증강을 상회하고 가중치 평균과 결합될 때 현 시점의 규제 방법을 능가하거나 동등해지는 경우도 있음을 보여준다.

ABSTRACT

Adversarial training suffers from the issue of robust overfitting, which seriously impairs its generalization performance. Data augmentation, which is effective at preventing overfitting in standard training, has been observed by many previous works to be ineffective in mitigating overfitting in adversarial training. This work proves that, contrary to previous findings, data augmentation alone can significantly boost accuracy and robustness in adversarial training. We find that the hardness and the diversity of data augmentation are important factors in combating robust overfitting. In general, diversity can improve both accuracy and robustness, while hardness can boost robustness at the cost of accuracy within a certain limit and degrade them both over that limit. To mitigate robust overfitting, we first propose a new crop transformation, Cropshift, which has improved diversity compared to the conventional one (Padcrop). We then propose a new data augmentation scheme, based on Cropshift, with much improved diversity and well-balanced hardness. Empirically, our augmentation method achieves the state-of-the-art accuracy and robustness for data augmentations in adversarial training. Furthermore, when combined with weight averaging it matches, or even exceeds, the performance of the best contemporary regularization methods for alleviating robust overfitting. Code is available at: https://github.com/TreeLLi/DA-Alone-Improves-AT.

연구 동기 및 목표

• 적대적 학습에서의 로버스트성 저하가 Robust Overfitting으로 인해 발생하는지 조사한다.
• 증강의 난이도와 다양성이 정확도와 로버스트성에 미치는 영향을 평가한다.
• 새로운 증강 기법(Cropshift)과 일정 프레임워크(IDBH)를 개발하여 로버스트성을 최적화한다.
• CIFAR-10에서 증강 전략을 실험적으로 평가하고 다른 데이터셋으로 확장한다.
• 적대적 학습 하에서 최첨단 규제 방법들과의 비교를 통해 증강 기반 개선 효과를 평가한다.

제안 방법

• Padcrop을 대체하는 다양한 증강으로 다양성을 높이는 Cropshift를 도입한다.
• 다양성과 난이도를 함께 최적화하는 다층 증강 프레임워크(IDBH; flip, Cropshift를 통한 crop, color/shape, dropout)를 제안한다.
• PGD 기반 평가 및 AutoAttack을 사용하여 증강의 난이도와 다양성 효과가 로버스트성에 미치는 영향을 체계적으로 연구한다.
• PGD10 적대적 학습과 필요에 따라 SWA를 사용하여 WRN34-1, WRN34-10, PRN18 아키텍처에서 증강 스킴을 평가한다.
• Baseline Flip-Padcrop 대비 초기 중단 및 다른 증강(Cutout, Cutmix, AutoAugment)과의 비교를 수행한다.
• 구현 재현성 및 코드 접근성을 위한 상세 정보를 제공한다.

실험 결과

연구 질문

• RQ1 데이터 증강만으로도 적대적 학습에서의 Robust Overfitting을 완화할 수 있는가?
• RQ2 증강의 난이도와 다양성은 깨끗한 정확도와 로버스트 정확도에 어떤 영향을 미치는가?
• RQ3 Cropshift와 제안된 IDBH 프레임워크는 추가 데이터 없이도 최첨단 로버스트성과 정확도를 제공하는가?
• RQ4 증강이 SWA 및 AWP와 같은 규제 기법과 상호 작용하여 로버스트성을 향상시키는가?

주요 결과

• 데이터 증강만으로도 적대적 학습에서 로버스트성과 정확도를 크게 향상시킬 수 있으며, 이는 기존의 믿음과 달리 가능하다.
• 다양성은 일반적으로 정확도와 로버스트성을 모두 향상시키고, 난이도는 미묘한 영향을 주며 최적의 균형이 최상의 결과를 낳는다.
• Cropshift는 Padcrop보다 더 큰 다양성을 제공하고 정확도와 로버스트성을 모두 향상시킨다.
• IDBH는 적대적 학습을 위한 증강 방법 중 최첨단의 로버스트성과 정확도를 달성하며, 특히 SWA와 함께 사용할 때 현저히 강력하다.
• 증강 성능은 모델 규모에 의존하며 아키텍처에 따라 최적의 난이도 설정이 달라져 최상의 트레이드오프를 위해 조정될 수 있다.
• IDBH에서 Padcrop/Cutout을 Cropshift/Random Erasing으로 대체하면 결과가 더 개선되며, Cropshift는 성능 향상을 위한 핵심 요소이다.