[논문 리뷰] Bag of Tricks for FGSM Adversarial Training

Zichao Li, Li Liu외 3명|arXiv (Cornell University)|2022. 09. 06.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 극심한 과적합으로 인해 붕괴되는 Fast Gradient Sign Method 적대적 훈련(FGSM-AT)의 안정성을 높이기 위해 실용적이고 계산 비용이 저렴한 기법들을 소개한다. 고정된 픽셀 마스킹, 큰 컨볼루션 스트라이드, 부드러운 활성화 함수, 또는 첫 번째 레이어의 가중치 정규화와 같은 단순한 수정을 통해 FGSM-AT는 PreActResNet-18을 사용할 때 CIFAR-10에서 PGD-50에 대해 49.8%의 강건한 정확도, AutoAttack에 대해 46.4%의 강건한 정확도를 달성하며, 복잡한 공격이나 높은 계산 비용 없이도 순수한 FGSM-AT로도 강건한 모델을 얻을 수 있음을 입증한다.

ABSTRACT

Adversarial training (AT) with samples generated by Fast Gradient Sign Method (FGSM), also known as FGSM-AT, is a computationally simple method to train robust networks. However, during its training procedure, an unstable mode of "catastrophic overfitting" has been identified in arXiv:2001.03994 [cs.LG], where the robust accuracy abruptly drops to zero within a single training step. Existing methods use gradient regularizers or random initialization tricks to attenuate this issue, whereas they either take high computational cost or lead to lower robust accuracy. In this work, we provide the first study, which thoroughly examines a collection of tricks from three perspectives: Data Initialization, Network Structure, and Optimization, to overcome the catastrophic overfitting in FGSM-AT. Surprisingly, we find that simple tricks, i.e., a) masking partial pixels (even without randomness), b) setting a large convolution stride and smooth activation functions, or c) regularizing the weights of the first convolutional layer, can effectively tackle the overfitting issue. Extensive results on a range of network architectures validate the effectiveness of each proposed trick, and the combinations of tricks are also investigated. For example, trained with PreActResNet-18 on CIFAR-10, our method attains 49.8% accuracy against PGD-50 attacker and 46.4% accuracy against AutoAttack, demonstrating that pure FGSM-AT is capable of enabling robust learners. The code and models are publicly available at https://github.com/UCSC-VLAA/Bag-of-Tricks-for-FGSM-AT.

연구 동기 및 목표

• 극심한 과적합으로 인해 단일 훈련 스텝 내에 강건한 정확도가 0으로 붕괴되는 FGSM-AT의 불안정성 문제를 해결한다.
• PGD와 같은 고비용 적대적 공격에 의존하지 않고도 계산 비용이 저렴한 경량 솔루션을 개발하여 FGSM-AT를 안정화한다.
• FGSM-AT를 안정화시키는 데 있어 데이터 초기화의 랜덤성은 필수적인가를 도전적으로 검토한다.
• 아키텍처 및 최적화 수준의 수정이 FGSM-AT의 훈련 안정성에 본질적으로 기여하는지 탐구한다.
• 순수한 FGSM-AT가 단순한 기법으로 안정화되면, 더 복잡한 적대적 훈련 방법과 비교해도 경쟁 가능한 강건성을 달성할 수 있음을 보여준다.

제안 방법

• FGSM-Mask: FGSM-AT 훈련 중에 입력 픽셀의 고정되거나 랜덤 부분을 마스킹하여 최적화 안정성을 높인다.
• FGSM-Str2: 첫 번째 컨볼루션 레이어의 스트라이드 크기를 증가시켜 특징 겹침을 줄이고 안정성을 향상시킨다.
• ReLU 대신 부드러운 활성화 함수(SiLU 등)를 적용하여 기울기의 날카움을 줄이고 과적합을 완화한다.
• ConvNorm: 첫 번째 컨볼루션 레이어의 가중치 L2 노름을 제약하는 경량 가중치 정규화 항을 도입하여 훈련 안정성을 높인다.
• 다양한 기법(예: 큰 스트라이드 + 부드러운 활성화 함수 + ConvNorm)을 조합하여 강건성 향상에 상호보완적인 효과를 얻는다.
• 랜덤 마스킹 대신 고정된 마스킹 패턴을 사용하여, 안정화에 있어 랜덤성이 필수적이지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 고정된, 비랜덤 픽셀 마스킹이 FGSM-AT 훈련을 안정화시킬 수 있는가? 이는 랜덤성이 강건성에 필수적이라는 기존 믿음에 도전한다.
• RQ2 첫 번째 컨볼루션 레이어의 스트라이드를 증가시키면 CNN 내에서 FGSM-AT의 안정성이 향상되는가?
• RQ3 SiLU와 같은 부드러운 활성화 함수는 ReLU보다 FGSM-AT에서 극심한 과적합을 줄일 수 있는가?
• RQ4 첫 번째 컨볼루션 레이어에 경량 가중치 정규화(예: ConvNorm)를 적용하면 높은 계산 비용 없이도 FGSM-AT를 안정화시킬 수 있는가?
• RQ5 이러한 기법들의 조합은 CIFAR-10 및 CIFAR-100과 같은 표준 벤치마크에서 개별 방법보다 더 높은 강건성을 달성하는가?

주요 결과

• 고정된 픽셀 마스킹(FGSM-Mask-Fixed)을 적용한 FGSM-AT는 PreActResNet-18을 사용해 CIFAR-10에서 PGD-50에 대해 49.8%의 강건한 정확도, AutoAttack에 대해 46.4%의 강건한 정확도를 달성한다.
• 첫 번째 컨볼루션 레이어에 큰 스트라이드(Str2)를 적용하면 훈련이 안정화되고, WideResNet-34-10을 사용해 PGD-50-10에 대해 50.4%의 강건한 정확도, AutoAttack에 대해 47.3%의 강건한 정확도를 달성한다.
• 부드러운 활성화 함수(SiLU 등)를 적용하면 안정성이 향상되어, FGSM-Smooth를 사용해 CIFAR-100에서 AutoAttack에 대해 25.2%의 강건한 정확도를 달성한다.
• 첫 번째 레이어에 경량 가중치 정규화(ConvNorm)를 적용하면 훈련이 안정화되고, CIFAR-100에서 AutoAttack에 대해 25.1%의 강건한 정확도를 달성한다.
• 기법들의 조합(예: Str2 + 부드러운 활성화 함수 + ConvNorm)은 가장 높은 강건성을 보이며, WideResNet-34-10에서 PGD-50-10에 대해 50.4%의 강건한 정확도를 달성한다.
• 모든 제안된 방법은 큰 변형(ε = 16/255) 조건에서도 극심한 과적합을 방지하며, FGSM-Mask는 CIFAR-10에서 PGD-50-10에 대해 25.3%의 강건한 정확도를 달성한다.