[논문 리뷰] Improving Robustness using Generated Data

Sven Gowal, Sylvestre-Alvise Rebuffi외 4명|ArXiv.org|2021. 10. 18.

Adversarial Robustness in Machine Learning참고 문헌 80인용 수 4

한 줄 요약

이 논문은 외부 데이터셋을 사용하지 않고 기존 훈련 세트에서만 훈련된 생성 모델로부터 합성 데이터를 생성함으로써 딥 네ural 네트워크의 적대적 로버스트니를 향상시키는 방법을 제안한다. 적대적 훈련 중에 실제 데이터와 생성된 데이터를 조합함으로써, ℓ∞ 노이즈(ε=8/255) 하에서 CIFAR-10에서 최신 기술(SOTA) 수준의 정확도 66.10%를 달성하였으며, 80M-Tiny Images와 같은 외부 데이터를 사용한 이전 방법을 뛰어넘었다.

ABSTRACT

Recent work argues that robust training requires substantially larger datasets than those required for standard classification. On CIFAR-10 and CIFAR-100, this translates into a sizable robust-accuracy gap between models trained solely on data from the original training set and those trained with additional data extracted from the "80 Million Tiny Images" dataset (TI-80M). In this paper, we explore how generative models trained solely on the original training set can be leveraged to artificially increase the size of the original training set and improve adversarial robustness to $\ell_p$ norm-bounded perturbations. We identify the sufficient conditions under which incorporating additional generated data can improve robustness, and demonstrate that it is possible to significantly reduce the robust-accuracy gap to models trained with additional real data. Surprisingly, we even show that even the addition of non-realistic random data (generated by Gaussian sampling) can improve robustness. We evaluate our approach on CIFAR-10, CIFAR-100, SVHN and TinyImageNet against $\ell_\infty$ and $\ell_2$ norm-bounded perturbations of size $ε= 8/255$ and $ε= 128/255$, respectively. We show large absolute improvements in robust accuracy compared to previous state-of-the-art methods. Against $\ell_\infty$ norm-bounded perturbations of size $ε= 8/255$, our models achieve 66.10% and 33.49% robust accuracy on CIFAR-10 and CIFAR-100, respectively (improving upon the state-of-the-art by +8.96% and +3.29%). Against $\ell_2$ norm-bounded perturbations of size $ε= 128/255$, our model achieves 78.31% on CIFAR-10 (+3.81%). These results beat most prior works that use external data.

연구 동기 및 목표

• 외부 데이터가 없거나 문제시되는 환경에서 외부 데이터를 사용한 모델과 사용하지 않은 모델 간의 로버스트 정확도 격차를 해소하기 위해.
• 저품질 또는 무작위 원천에서 생성된 데이터조차도 적대적 로버스트니를 향상시킬 수 있는지 조사하기 위해.
• 기존 데이터셋에서만 훈련된 생성 모델이 개인정보 유출 위험 없이 외부 데이터 없이도 효과적으로 훈련 데이터를 보강할 수 있는지 보여주기 위해.
• 생성된 데이터가 로버스트니 향상에 기여하는 조건과 이유를 이론적·실험적으로 정당화하기 위해.

제안 방법

• 기존 훈련 데이터에서만 훈련된 생성 모델(예: DDPM, StyleGAN2, BigGAN, VDVAE)을 사용해 합성 샘플을 생성한다.
• 기존 데이터에서 훈련된 비로버스트 분류기를 사용하여 생성된 샘플에 대해 의사 레이블을 할당한다.
• 기존 훈련 데이터와 의사 레이블이 부여된 생성된 데이터를 결합하여 혼합 훈련 분포를 구성한다.
• 실제 데이터와 생성된 데이터의 가중 혼합을 사용하여, 혼합 데이터셋에서 PGD 기반 적대적 훈련을 통해 로버스트 분류기를 훈련한다.
• 생성된 데이터 비율을 제어하기 위해 혼합 계수 α를 사용하며, 현실성과 다양성 간의 균형을 맞춘다.
• 이론적으로, 생성 모델이 진정한 데이터 분포를 커버하고 비로버스트 분류기가 실제 및 생성된 데이터 모두에서 잘 일반화한다면, 로버스트 목적 함수 최소화가 보장됨을 보여준다.

실험 결과

연구 질문

• RQ1 기존 데이터셋에서만 훈련된 모델로부터 생성된 데이터가 적대적 로버스트니를 향상시킬 수 있는가?
• RQ2 생성된 데이터의 품질(예: 무작위 vs. DDPM 생성)이 로버스트니 향상에 상당한 영향을 미치는가?
• RQ3 비현실적이거나 무작위로 샘플링된 데이터조차도 로버스트니 향상에 기여할 수 있으며, 만약 그렇다면 어떤 조건에서 그런가?
• RQ4 외부 데이터셋(예: 80M-Ti)을 사용한 모델과 비교해도, 기존 데이터와 생성 기반 보강만으로 성능을 근사하거나 초월할 수 있는가?
• RQ5 생성된 데이터를 통합했을 때 로버스트니 향상이 보장되는 이론적 조건은 무엇인가?

주요 결과

• 제안된 방법은 ℓ∞ 노이즈 크기 ε=8/255 조건에서 CIFAR-10에서 66.10%의 로버스트 정확도를 달성하였으며, 외부 데이터를 사용하지 않은 이전 최고 기술 대비 8.96% 향상되었다.
• 조금 더 낮은 품질의 무작위로 샘플링된 입력(예: 훈련 데이터에 조건부 피팅된 가우시안 샘플)조차도 와이드 리저넷-28-10에서 0.93%의 로버스트 정확도 향상을 보였으며, 이는 현실성보다는 다양성과 분포 커버리지가 더 중요함을 시사한다.
• DDPM로 생성된 샘플은 인ception 특징 공간에서 진정한 데이터 분포와 가장 유사한 것으로 나타나, 로버스트니 향상에 가장 효과적인 것으로 확인되었다.
• 80M-Tiny Images 데이터셋을 사용한 모든 이전 방법보다 성능이 뛰어나며, 이후 악성 콘텐츠로 인해 철수된 바 있는 이 데이터셋을 사용한 방법들조차도 뛰어넘었다.
• 기존 데이터셋에서만 생성 모델을 훈련함으로써 외부 데이터셋과 관련된 개인정보 및 윤리적 리스크를 피할 수 있었다.
• 이론적 분석 결과, 생성 모델이 진정한 데이터 분포를 커버하고 비로버스트 분류기가 실제 및 생성된 데이터 모두에서 잘 일반화한다면, 로버스트니 향상은 보장됨을 입증하였다.