[논문 리뷰] Eliminating Catastrophic Overfitting Via Abnormal Adversarial Examples Regularization

Runqi Lin, Chaojian Yu외 1명|arXiv (Cornell University)|2024. 04. 11.

Industrial Vision Systems and Defect Detection인용 수 5

한 줄 요약

본 논문은 AAER를 소개하며, 단일단계 적대적 학습에서 재앙적 과적합(CO)을 방지하기 위해 비정상적 적대적 예제(AAEs)를 억제하는 정규화 기법으로, 최소한의 오버헤드로 강건성을 향상시킵니다.

ABSTRACT

Single-step adversarial training (SSAT) has demonstrated the potential to achieve both efficiency and robustness. However, SSAT suffers from catastrophic overfitting (CO), a phenomenon that leads to a severely distorted classifier, making it vulnerable to multi-step adversarial attacks. In this work, we observe that some adversarial examples generated on the SSAT-trained network exhibit anomalous behaviour, that is, although these training samples are generated by the inner maximization process, their associated loss decreases instead, which we named abnormal adversarial examples (AAEs). Upon further analysis, we discover a close relationship between AAEs and classifier distortion, as both the number and outputs of AAEs undergo a significant variation with the onset of CO. Given this observation, we re-examine the SSAT process and uncover that before the occurrence of CO, the classifier already displayed a slight distortion, indicated by the presence of few AAEs. Furthermore, the classifier directly optimizing these AAEs will accelerate its distortion, and correspondingly, the variation of AAEs will sharply increase as a result. In such a vicious circle, the classifier rapidly becomes highly distorted and manifests as CO within a few iterations. These observations motivate us to eliminate CO by hindering the generation of AAEs. Specifically, we design a novel method, termed Abnormal Adversarial Examples Regularization (AAER), which explicitly regularizes the variation of AAEs to hinder the classifier from becoming distorted. Extensive experiments demonstrate that our method can effectively eliminate CO and further boost adversarial robustness with negligible additional computational overhead.

연구 동기 및 목표

• 비정상적 적대적 예제(AAEs)와 SSAT에서의 재앙적 과적합(CO) 간의 연관성을 조사한다.
• 훈련 중 AAEs의 동작과 CO 발현 시점에서의 변화 특성을 규명한다.
• 추가 연산 없이도 AAEs를 정규화하고 CO를 방지하는 AAER를 제안하고 검증한다.
• 다양한 데이터셋, 공격, 네트워크 아키텍처에서 AAER의 효과를 시연한다.
• 다른 방어 기법과 비교한 AAER의 계산 효율성을 평가한다.

제안 방법

• 내부 최대화 손실이 perturbation 후 감소하는 경우를 비정상적 적대적 예제(AAEs)로 정의한다.
• 훈련 중 AAEs의 수와 출력 변화 정도를 정량화하고 CO와의 관계를 파악한다.
• (i) AAEs의 수, (ii) 비정상적 예측 신뢰도 변화, (iii) AAEs의 로짓 분포 변화를 벌하는 AAER 정규화를 개발한다.
• 이 구성 요소를 하나의 정규화 항 AAER로 결합하되 하이퍼파라미터 λ1, λ2, λ3를 조정 가능하게 한다.
• AAER가 추가적인 예제 생성이나 역전파 패스를 필요로 하지 않아 오버헤드를 낮게 유지한다.
• PreActResNet-18 및 WideResNet-34를 사용하여 CIFAR-10/100, SVHN, Tiny-ImageNet, ImageNet-100에서 RS-FGSM 및 N-FGSM 기준선으로 AAER를 평가한다.

실험 결과

연구 질문

• RQ1 AAEs와 SSAT 훈련 중 분류기 왜곡/CO 사이의 관계는 무엇인가?
• RQ2 AAEs의 수와 출력 변화의 억제가 CO를 방지하면서 강건성을 유지하거나 향상시킬 수 있는가?
• RQ3 다양한 데이터셋, 공격 및 네트워크 아키텍처에서 강건성과 효율성 측면에서 AAER의 성능은 어떠한가?

주요 결과

• AAEs는 CO가 시작되기 전에 일찍 나타나며 CO가 시작되면 급증하여 강건성 감소와 상관된다.
• AAE 출력 변화, 특히 로짓 교란은 CO 중에 급격히 증가하여 의사 결정 경계가 왜곡됨을 나타낸다.
• AAEs를 수동으로 제거하는 것은 CO를 지연시키지만 방지하지는 못하므로 적극적 정규화의 필요성을 시사한다.
• AAER는 노이즈 규모와 데이터셋에 대해 CO를 효과적으로 방지하며 오버헤드가 무시할 정도이다.
• AAER는 단일 스텝 적대적 학습 기준선과 비교해도 학습 시간을 거의 유지하면서 강건성을 향상시킨다.
• AAER의 효과는 RN 아키텍처와 비교 가능한 기준선에서 CIFAR-10/100 및 CIFAR-100에서 입증된다.