[논문 리뷰] Data Augmentation Can Improve Robustness

Sylvestre-Alvise Rebuffi, Sven Gowal외 4명|arXiv (Cornell University)|2021. 11. 09.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 논문은 데이터 증강—특히 CutMix—과 모델 가중치 평균화를 조합함으로써 CIFAR-10에서 ℓ∞ 노이즈 크기 ε=8/255에 대해 60.07%의 강건한 정확도를 달성하여, 외부 데이터를 사용하지 않고도 이전 최상의 방법보다 +2.93%의 절대적 향상을 이룬다. 이 방법은 강건 과적합을 줄이고 학습 중 다양한 고성능 모델 스크래치를 효과적으로 앙상블화함으로써 작동한다.

ABSTRACT

Adversarial training suffers from robust overfitting, a phenomenon where the robust test accuracy starts to decrease during training. In this paper, we focus on reducing robust overfitting by using common data augmentation schemes. We demonstrate that, contrary to previous findings, when combined with model weight averaging, data augmentation can significantly boost robust accuracy. Furthermore, we compare various augmentations techniques and observe that spatial composition techniques work the best for adversarial training. Finally, we evaluate our approach on CIFAR-10 against $\ell_\infty$ and $\ell_2$ norm-bounded perturbations of size $ε= 8/255$ and $ε= 128/255$, respectively. We show large absolute improvements of +2.93% and +2.16% in robust accuracy compared to previous state-of-the-art methods. In particular, against $\ell_\infty$ norm-bounded perturbations of size $ε= 8/255$, our model reaches 60.07% robust accuracy without using any external data. We also achieve a significant performance boost with this approach while using other architectures and datasets such as CIFAR-100, SVHN and TinyImageNet.

연구 동기 및 목표

• 표준 학습에서는 성공했지만 적대적 훈련에서는 데이터 증강이 강건성을 향상시키지 못하는 이전 연구의 모순을 해결하기 위해.
• 특히 강건 과적합을 완화함으로써, 데이터 증강이 모델 가중치 평균화와 결합될 경우 강건성을 향상시킬 수 있는지 조사하기 위해.
• 적대적 훈련에 가장 효과적인 데이터 증강 기법을 특정하고, 향상의 근본 원리를 이해하기 위해.
• 다양한 아키텍처, 데이터셋(예: CIFAR-100, SVHN, TinyImageNet), 위협 모델(ℓ∞ 및 ℓ2 노이즈)에 걸쳐 제안된 방법의 일반화 능력을 평가하기 위해.

제안 방법

• 저자들은 데이터 증강 기법—Cutout, CutMix, MixUp—과 모델 가중치 평균화(WA)를 조합하여 강건한 일반화 능력을 향상시켰다.
• PGD 공격를 사용한 적대적 훈련을 통해 모델을 훈련하고, 학습 도중 수집한 모델 스크래치에 대해 가중치 평균화를 적용하여 앙상블을 생성했다.
• 이 방법은 국소 선형성 가정 하에 가중치 평균화가 모델 앙상블을 근사할 수 있음을 활용하여 다양한 모델 상태를 효율적으로 앙상블화할 수 있다.
• CutMix는 강건 과적합을 줄이고 모델 스크래치 간 개별 예측의 다양성을 증진시키는 능력이 있어 주로 사용되었다.
• 학습률 스케줄링과 조기 정지 등을 통해 강건성과 일반화 능력의 균형을 맞추었으며, 가중치 평균화 감쇠 비율에 대한 분석도 수행했다.
• 다양한 아키텍처와 데이터셋에서 ℓ∞ 및 ℓ2 노이즈가 포함된 AutoAttack을 사용하여 강건성을 평가했다.

실험 결과

연구 질문

• RQ1 이전 결과와는 달리, 데이터 증강이 모델 가중치 평균화와 조합될 경우 적대적 훈련에서 강건성을 향상시킬 수 있는가?
• RQ2 왜 공간 조합 기법인 CutMix가 MixUp과 같은 다른 증강 기법보다 적대적 훈련에서 더 우수한 성능을 보이는가?
• RQ3 모델 가중치 평균화가 모델 스크래치의 다양성을 어떻게 활용하여 강건성을 향상시키는가?
• RQ4 강건 과적합과 과소적합 사이의 상충 관계는 무엇이며, 이는 다양한 증강 기법을 사용할 때 가중치 평균화의 성능에 어떻게 영향을 미치는가?
• RQ5 제안된 방법은 CIFAR-10을 초월해 다른 아키텍처와 데이터셋으로 일반화되는가?

주요 결과

• CutMix와 모델 가중치 평균화를 조합한 방법은 ℓ∞ 노이즈 크기 ε=8/255에 대해 CIFAR-10에서 60.07%의 강건 정확도를 달성하여, 이전 최상의 방법보다 +2.93%의 절대적 향상을 이뤘다.
• 이 방법은 ℓ2 노이즈 크기 ε=128/255에 대해 CIFAR-10에서 강건 정확도를 +2.16% 향상시켜 다양한 위협 모델에 대한 일반화 능력을 입증했다.
• CutMix로 훈련된 모델 스크래치는 평균적으로 약 888개의 고유한 오류를 보이며 개별 예측에서 높은 다양성을 나타내지만, 총 강건 정확도는 유사하게 유지되어, 가중치 평균화를 통한 효과적인 앙상블이 가능하다.
• Pad & Crop를 사용한 가중치 평균화의 성능은 CutMix보다 열 劣하여 최대 τ=0.9925에 머무르며, 다양성이 낮을 경우 강건 과적합이 성능 향상을 제한함을 시사한다.
• 이 방법은 동일한 훈련 설정으로 CIFAR-100, SVHN, TinyImageNet에서도 최상 또는 최상에 가까운 성능을 달성하여 다른 데이터셋으로의 일반화 능력을 입증했다.
• 실험 결과는 강건 과적합을 줄이는 증강 기법(예: CutMix)이 더 높은 다양성을 가진 모델 스크래치를 생성하며, 이러한 스크래치는 가중치 평균화를 통해 효과적으로 활용되어 강건성이 향상됨을 보여준다.