[논문 리뷰] Bag of Tricks for Adversarial Training

Tianyu Pang, Xiao Yang외 3명|arXiv (Cornell University)|2020. 10. 01.

Adversarial Robustness in Machine Learning참고 문헌 111인용 수 12

한 줄 요약

이 논문은 이전 연구에서 자주 간과되는 기본적인 훈련 초기화값들인 가중치 감쇠, 배치 정규화 모드, PGD 초기화 방식과 같은 초기화값들이 적대적 로버스트니에 매우 민감하다는 점을 규명한다. CIFAR-10에서 체계적인 아블레이션을 통해 저자들은 초기화값의 경미한 변화가 로버스트 정확도를 7퍼센트 이상 떨어뜨릴 수 있음을 보여주며, 훈련 설정을 재최적화함으로써 AutoAttack에서 새로운 SOTA 성능을 달성한다. 이는 많은 이전 방어 방법들이 최적화되지 않은 훈련 설정으로 인해 과소 평가되었음을 시사한다.

ABSTRACT

Adversarial training (AT) is one of the most effective strategies for promoting model robustness. However, recent benchmarks show that most of the proposed improvements on AT are less effective than simply early stopping the training procedure. This counter-intuitive fact motivates us to investigate the implementation details of tens of AT methods. Surprisingly, we find that the basic settings (e.g., weight decay, training schedule, etc.) used in these methods are highly inconsistent. In this work, we provide comprehensive evaluations on CIFAR-10, focusing on the effects of mostly overlooked training tricks and hyperparameters for adversarially trained models. Our empirical observations suggest that adversarial robustness is much more sensitive to some basic training settings than we thought. For example, a slightly different value of weight decay can reduce the model robust accuracy by more than 7%, which is probable to override the potential promotion induced by the proposed methods. We conclude a baseline training setting and re-implement previous defenses to achieve new state-of-the-art results. These facts also appeal to more concerns on the overlooked confounders when benchmarking defenses.

연구 동기 및 목표

• 간단한 조기 정지와 비교해 복잡한 적대적 훈련 개선 방법이 제한된 성능 향상을 보이는 이유를 탐구하기 위해
• 적대적 로버스트니에 크게 영향을 주지만 자주 간과되는 훈련 초깃값과 구현 세부 사항을 특정하기 위해
• CIFAR-10에서 PGD-기반 및 TRADES 기반 적대적 훈련을 위한 표준화되고 효과적인 훈련 레시피를 수립하기 위해
• 최적화된 초깃값 설정을 사용해 이전 방어 방법을 재현함으로써 표준 벤치마크에서 새로운 SOTA 성능을 달성할 수 있는지 보여주기 위해
• 일관되지 않은 훈련 설정으로 인해 적대적 방어 방법 평가에서 혼동 요소가 발생할 수 있음을 강조하기 위해

제안 방법

• PGD-AT 및 TRADES에 대해 10개 이상의 훈련 기법(예: 가중치 감쇠, 학습률 스케줄, 배치 크기, BN 모드, PGD 초기화, 조기 정지, 웜업, 옵티마이저 선택)의 영향을 체계적으로 평가한다.
• CIFAR-10에서 표준화되고 최적화된 초깃값 레시피를 사용해 이전의 방어 방법(예: TRADES, PGD-AT)을 재현한다.
• 일관된 평가 프로토콜을 사용: ℓ∞ 제약 조건 하에 AutoAttack, PGD-1000, SPSA 및 C&W 공격를 모두 적용한다.
• 다양한 가중치 감쇠 값(예: 2×10⁻⁴ 대비 5×10⁻⁴), BN 모드(학습 모드 대비 평가 모드), 초기화 전략(균일 분포 대비 정규 분포) 간의 로버스트 정확도를 비교한다.
• 각 초깃값의 영향을 분리하기 위해 WRN-34-10 및 ResNet-18에서 아블레이션 연구를 수행한다.
• 통계적 신뢰성을 확보하기 위해 5개의 랜덤 시드를 기반으로 결과를 보고한다.

실험 결과

연구 질문

• RQ1 가중치 감쇠와 배치 정규화 모드와 같은 일반적인 훈련 초깃값이 적대적으로 훈련된 모델의 로버스트 정확도에 어떻게 영향을 미치는가?
• RQ2 왜 많은 제안된 적대적 훈련 개선 방법들이 단순한 조기 정지와 비교해 제한된 성능 향상을 보이는가?
• RQ3 최적화된 훈련 설정을 사용해 이전의 방어 방법을 재현하면 표준 벤치마크에서 새로운 SOTA 성능을 달성할 수 있는가?
• RQ4 PGD 초기화나 학습률 웜업과 같은 구현 세부 사항이 모델의 로버스트니에 얼마나 큰 영향을 미치는가?
• RQ5 동일한 설정에서 다양한 옵티마이저(예: Adam, AdamW, SGD-GC)는 어떻게 비교되는가?

주요 결과

• 가중치 감쇠를 2×10⁻⁴에서 5×10⁻⁴로 변경함으로써 PGD-AT에서 로버스트 정확도가 7퍼센트 이상 감소했으며, 이는 이 초깃값에 매우 민감함을 보여준다.
• 적대적 예제 생성 중 배치 정규화를 평가 모드로 사용할 경우 학습 모드 대비 약 5퍼센트의 로버스트 정확도 향상을 보였다.
• 균일 분포에서 정규 분포로의 PGD 초기화(δ₀ ~ N(0, αI))로 전환함으로써 동일한 모델에서 로버스트 정확도가 약 5퍼센트 향상되었다.
• 가중치 감쇠 = 5×10⁻⁴, 평가 BN 모드, ReLU 활성화 함수를 사용한 재훈련된 TRADES 모델은 AutoAttack(ℓ∞, ε=8/255)에서 54.39%의 로버스트 정확도를 기록하여 새로운 SOTA를 수립했다.
• 동일한 모델은 ε=0.031일 때 AutoAttack에서 53.94% ± 0.10%의 로버스트 정확도를 기록했으며, Rice et al. (2020) 및 Zhang et al. (2019b)를 포함한 이전 연구들을 모두 초월했다.
• 옵티마이저 선택이 성능에 크게 영향을 미치며, AdamW는 AutoAttack에서 45.79%의 로버스트 정확도를 기록한 반면, SGD-GC는 51.65%를 기록해 최적화 전략의 중요성을 입증했다.