[논문 리뷰] Towards Understanding Fast Adversarial Training

Bai Li, Shiqi Wang외 2명|arXiv (Cornell University)|2020. 06. 04.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 24

한 줄 요약

이 논문은 빠른 적대적 훈련이 치명적인 과적합을 피하기보다는 랜덤 초기화를 통해 이를 회복하기 때문에 성공한다는 것을 설명한다. 저자들은 장기간의 훈련을 가능하게 하고 강건한 정확도를 향상시키는 수정된 훈련 전략을 제안하며, 향상된 방법을 PGD 훈련의 웜업으로 사용함으로써 표준 PGD 적대적 훈련보다 75% 적은 훈련 시간으로 최신 기술 수준의 강건성을 달성한다.

ABSTRACT

Current neural-network-based classifiers are susceptible to adversarial examples. The most empirically successful approach to defending against such adversarial examples is adversarial training, which incorporates a strong self-attack during training to enhance its robustness. This approach, however, is computationally expensive and hence is hard to scale up. A recent work, called fast adversarial training, has shown that it is possible to markedly reduce computation time without sacrificing significant performance. This approach incorporates simple self-attacks, yet it can only run for a limited number of training epochs, resulting in sub-optimal performance. In this paper, we conduct experiments to understand the behavior of fast adversarial training and show the key to its success is the ability to recover from overfitting to weak attacks. We then extend our findings to improve fast adversarial training, demonstrating superior robust accuracy to strong adversarial training, with much-reduced training time.

연구 동기 및 목표

• 빠른 적대적 훈련의 성공 원리가 아직 잘 이해되지 않았음에도 불구하고, 그 효율성에도 불구하고 그 배후의 메커니즘을 이해하기 위해.
• 빠른 적대적 훈련의 한계를 해결하기 위해, 치명적인 과적합으로 인해 몇 개의 에포크를 넘어서지 못하는 문제를 해결하기 위해.
• 빠른 적대적 훈련의 효율성을 유지하면서 더 장기간의 훈련을 가능하게 하여 강건성을 향상시키는 훈련 전략을 개발하기 위해.
• 향상된 빠른 적대적 훈련이 PGD 적대적 훈련의 효과적인 웜업으로 기능할 수 있음을 보여주기 위해, 성능을 희생시키지 않고도 총 훈련 시간을 줄일 수 있도록 하기 위해.

제안 방법

• 저자들은 빠른 적대적 훈련의 행동을 분석하고, 그 성공이 과적합을 피하기보다는 치명적인 과적합에서 회복할 수 있는 모델의 능력에서 비롯된다는 것을 밝혀냈다.
• 그들은 조각별 학습률 스케줄을 사용하여 과적합을 완화함으로써, 빠른 적대적 훈련이 많은 에포크 동안 실행될 수 있도록 수정된 훈련 전략을 제안했다.
• 향상된 빠른 적대적 훈련은 PGD 적대적 훈련의 웜업 단계로 사용되며, 빠른 공격에서 학습된 강건한 특징으로 모델을 초기화한다.
• FGSM 공격에서 랜덤 초기화를 활용하여 공격의 다양성을 높이고 과적합을 방지하면서도 계산 효율성을 유지한다.
• 이 방법은 여러 데이터셋(CIFAR-10, CIFAR-100, Tiny ImageNet)과 아키텍처(PreAct ResNet-18, Wide-ResNet-34-10, ResNet-50)에서 평가되었다.

실험 결과

연구 질문

• RQ1 기본적인 FGSM 훈련이 치명적인 과적합으로 실패하는 데 반해, 약한 공격을 사용함에도 불구하고 빠른 적대적 훈련이 어떻게 강건성을 달성하는가?
• RQ2 빠른 적대적 훈련이 치명적인 과적합을 피하거나 회복할 수 있는 능력은 무엇이며, 이는 표준 FGSM 훈련과 어떻게 다를까?
• RQ3 빠른 적대적 훈련을 강건성이 손상되지 않도록 더 장기간의 훈련 스케줄로 연장할 수 있을까? 이를 위해 어떤 수정이 필요한가?
• RQ4 향상된 빠른 적대적 훈련이 PGD 적대적 훈련의 효과적인 웜업으로 기능할 수 있을까? 이는 총 훈련 시간을 줄이고 강건한 정확도를 향상시킬 수 있는가?

주요 결과

• FastAdv+는 143.17분의 훈련 시간으로 CIFAR-10에서 51.01%의 강건한 정확도를 달성했으며, 표준 PGD 적대적 훈련(54.10% 강건 정확도)보다 강건성을 높였고, 훈련 시간은 14%에 불과했다.
• FastAdvW는 CIFAR-10에서 55.13%의 강건한 정확도를 달성했으며, PGD 적대적 훈련(54.10%)을 초월했고, 훈련 시간은 그의 25%에 불과했다.
• CIFAR-100에서 FastAdvW는 28.88%의 강건한 정확도를 기록했으며, PGD 적대적 훈련(26.60%)을 뛰어넘었고, 훈련 시간은 75% 줄였다.
• Tiny ImageNet에서 FastAdvW는 21.82%의 강건한 정확도를 달성했으며, PGD 적대적 훈련(21.62%)을 뛰어넘었고, 훈련 시간은 71% 줄였다.
• 향상된 빠른 적대적 훈련을 웜업으로 사용함으로써 PGD 훈련은 훨씬 더 적은 총 훈련 시간으로 더 높은 강건성을 달성할 수 있었다.