[논문 리뷰] Understanding Catastrophic Overfitting in Single-step Adversarial Training

Hoki Kim, Woojin Lee외 1명|arXiv (Cornell University)|2020. 10. 05.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 단일 스텝 적대적 훈련에서 치명적인 과적합의 근본 원인으로 决책 경계 왜곡을 규명하며, 모델이 FGSM 공격에는 강건해지지만 다중 스텝 PGD 공격에선 실패하는 현상을 설명한다. 저자들은 과적합을 방지하고 다중 스텝 훈련 없이도 PGD에 대해 거의 100%의 강건성을 달성하는 간단한 이미지별 적대적 변형 크기 탐색 방법을 제안한다. 이는 빠른 적대적 훈련을 능가하고, 계산 비용을 줄이며 PGD 기반 방법과 동등한 강건성을 확보한다.

ABSTRACT

Although fast adversarial training has demonstrated both robustness and efficiency, the problem of "catastrophic overfitting" has been observed. This is a phenomenon in which, during single-step adversarial training, the robust accuracy against projected gradient descent (PGD) suddenly decreases to 0% after a few epochs, whereas the robust accuracy against fast gradient sign method (FGSM) increases to 100%. In this paper, we demonstrate that catastrophic overfitting is very closely related to the characteristic of single-step adversarial training which uses only adversarial examples with the maximum perturbation, and not all adversarial examples in the adversarial direction, which leads to decision boundary distortion and a highly curved loss surface. Based on this observation, we propose a simple method that not only prevents catastrophic overfitting, but also overrides the belief that it is difficult to prevent multi-step adversarial attacks with single-step adversarial training.

연구 동기 및 목표

• 단일 스텝 적대적 훈련에서 FGSM에 대한 강건성은 증가하지만 PGD에 대한 강건성은 0%로 떨어지는 치명적인 과적합의 근본 원인을 규명하는 것.
• 고정된 변형 크기의 역할이 결정 경계를 왜곡하고 다중 스텝 공격이 모델을 속이게 하는 데 기여하는 방식을 분석하는 것.
• 치명적인 과적합을 방지하면서도 다양한 적대적 공격에 대해 강력한 강건성을 유지하는 계산 비용이 낮은 방법을 개발하는 것.
• 단일 스텝 훈련이 다중 스텝 공격을 방어할 수 없다는 가정을 도전하며, 적절한 변형 크기 스케일링을 통해 가능함을 보여주는 것.

제안 방법

• 훈련 중에 각 입력 이미지에 대해 최적의 변형 크기를 동적으로 결정하는 방법을 제안하며, 고정된 ε를 사용하는 것과는 다릅니다.
• 모델을 속이는 데까지 가능한 가장 큰 변형 크기를 탐색 기반으로 찾는 방식을 사용하여 다양한 공격 크기 범위에서의 강건성을 확보합니다.
• 계산 효율성을 유지하면서도 빠른 적대적 훈련 프레임워크에 적응형 변형 단계를 통합합니다.
• 청정 이미지와 적대적 손실 최적화 모두에 이 방법을 적용하여 기울기를 정렬함으로써 일반화 성능을 향상시킵니다.
• 검색 범위를 제어하는 하이퍼파ram터 c를 사용하며, 실험에서 c=3일 때 최적의 성능를 보입니다.
• 다중 스텝 PGD에 의존하지 않고, 표준 교차 엔트로피 손실을 사용하여 적대적 예제를 적응형 단계 크기로 생성합니다.

실험 결과

연구 질문

• RQ1 왜 단일 스텝 적대적 훈련 중에 FGSM에 대한 강건성은 증가하지만 PGD에 대한 강건성은 0%로 떨어지는가?
• RQ2 고정된 변형 크기가 결정 경계 왜곡과 치명적인 과적합을 어떻게 유도하는가?
• RQ3 간단하고 이미지별로 조정되는 변형 크기 스케일링 방법이 치명적인 과적합을 방지할 수 있는가, 강건성 손실 없이?
• RQ4 단일 스텝 적대적 훈련만으로도 다중 스텝 공격에 대해 높은 강건성을 확보할 수 있는가?

주요 결과

• 제안된 방법은 CIFAR-10과 Tiny ImageNet에서 치명적인 과적합을 방지하며, 빠른 적대적 훈련에서 0.0%였던 PGD50 강건 정확도 대비 7.8%의 PGD50 강건 정확도를 유지한다.
• CIFAR-10에서 제안된 방법은 표준 정확도 49.6%와 FGSM 강건 정확도 12.5%를 달성하며, 빠른 적대적 훈련(표준 정확도 26.2%, FGSM 강건 정확도 49.0%)을 능가하고 PGD2 적대적 훈련과 동등한 강건성을 확보한다.
• Tiny ImageNet에서 제안된 방법은 7.8%의 PGD50 강건 정확도를 기록하며, 빠른 적대적 훈련(0.0%)을 크게 앞서며 PGD2 적대적 훈련 성능에 근접한다.
• Tiny ImageNet에서 훈련 시간은 PGD2의 27.7시간, 빠른 적대적 훈련의 19.6시간 대비 25.7시간으로 단축되었고, 더 뛰어난 강건성을 제공한다.
• 제안된 방법으로 훈련된 모델은 Wide-ResNet-40-10 모델의 블랙박스 PGD50 공격에 대해서도 Tiny ImageNet에서 7.8%의 PGD50 강건 정확도를 보였다.
• AutoAttack 결과는 모델의 강건성을 확인하였으며, 제안된 방법은 PGD2 적대적 훈련과 유사한 뛰어난 성능을 보였고, 빠른 적대적 훈련은 완전히 실패한 것으로 나타났다.