[논문 리뷰] Using Single-Step Adversarial Training to Defend Iterative Adversarial Examples

Guanxiong Liu, Issa Khalil외 1명|arXiv (Cornell University)|2020. 02. 22.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 6

한 줄 요약

이 논문은 단일 단계 적대적 훈련 방법인 SIM-Adv를 제안하며, 훈련 오버헤드를 크게 줄여가며 단일 단계 및 반복적 적대적 예제 모두에 효과적으로 대응한다. 여러 에포크에 걸쳐 반복적 적대적 예제를 단일 단계의 변형으로 점차 평탄화함으로써 SIM-Adv는 CIFAR10에서 기존의 Madry-Adv 대비 76.03% 적은 훈련 시간으로 최신 기술 수준의 강건성 정확도를 달성했으며, ATDA 대비 35.67% 높은 테스트 정확도를 기록했다.

ABSTRACT

Adversarial examples have become one of the largest challenges that machine learning models, especially neural network classifiers, face. These adversarial examples break the assumption of attack-free scenario and fool state-of-the-art (SOTA) classifiers with insignificant perturbations to human. So far, researchers achieved great progress in utilizing adversarial training as a defense. However, the overwhelming computational cost degrades its applicability and little has been done to overcome this issue. Single-Step adversarial training methods have been proposed as computationally viable solutions, however they still fail to defend against iterative adversarial examples. In this work, we first experimentally analyze several different SOTA defense methods against adversarial examples. Then, based on observations from experiments, we propose a novel single-step adversarial training method which can defend against both single-step and iterative adversarial examples. Lastly, through extensive evaluations, we demonstrate that our proposed method outperforms the SOTA single-step and iterative adversarial training defense. Compared with ATDA (single-step method) on CIFAR10 dataset, our proposed method achieves 35.67% enhancement in test accuracy and 19.14% reduction in training time. When compared with methods that use BIM or Madry examples (iterative methods) on CIFAR10 dataset, it saves up to 76.03% in training time with less than 3.78% degeneration in test accuracy.

연구 동기 및 목표

• 반복적 적대적 훈련의 높은 계산 비용이 모바일 및 스마트 홈 기기와 같은 자원 제약 환경에서의 활용을 제한하는 문제를 해결하기 위해.
• 최신 단일 단계 방어 방법(ATDA 등)의 평가에 내재된 결함을 규명하여, 강력한 보고된 성능에도 불구하고 반복적 공격에 대응하지 못하는 이유를 밝히기 위해.
• 단일 단계 및 반복적 적대적 예제 모두에 대해 높은 강건성을 유지하면서도 계산 비용이 낮은 방어 방법을 개발하기 위해.
• 반복적 적대적 훈련을 향상시키기 위한 실용적 지침을 제공하기 위해, 공격 생성 과정에서의 더 큰 단계별 변형 크기 및 중간 예제의 사용을 포함한다.

제안 방법

• 제안된 SIM-Adv 방법은 여러 훈련 에포크에 걸쳐 단계별로 적대적 예제를 생성하며, 반복적 적대적 예제를 점차 단일 단계의 변형으로 평탄화한다.
• 다중 단계 반복 과정에서 유도된 단일 단계 적대적 예제를 각 에포크에 적용하는 수정된 적대적 훈련 루프를 사용하여, 반복적 공격의 강건성을 효과적으로 시뮬레이션한다.
• 강건성과 훈련 효율성의 균형을 위해 단계 수와 단계별 변형 크기($n_1$)를 조정하며, $n_1$은 성능에 핵심적인 하이퍼파라미터이다.
• 반복 과정에서 유도된 중간 적대적 예제를 활용하여 분류기의 약점(블라인드 스폟)을 노출시켜, 전체 반복 훈련 없이도 일반화 능력을 향상시킨다.
• 각 에포크 간에 기울기 저장 및 복원을 통해 적대적 예제 생성의 일관성을 유지하며, 표준 단일 단계 방법보다 약간 더 긴 훈련 시간이 소요된다.
• 표준 벤치마크(CIFAR10, FMNIST, MNIST)를 사용하여 화이트박스 위협 모델 하에서 Free-Adv, ATDA, BIM-Adv, Madry-Adv와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 최신 기술 수준의 단일 단계 방어 방법인 ATDA는 보고된 성능이 뛰어나지만, 반복적 적대적 예제에 대응하지 못하는 이유는 무엇인가?
• RQ2 단일 단계 적대적 훈련 방법을 설계하여 단일 단계 및 반복적 적대적 예제 모두에 강건하게 대응할 수 있는가?
• RQ3 반복적 적대적 훈련의 훈련 비용을 줄이면서도 높은 강건성을 유지하기 위한 핵심 설계 원칙은 무엇인가?
• RQ4 반복 공격에서 유도된 중간 예제를 단일 단계 훈련 프레임워크에 활용할 경우 방어 성능가 어떻게 향상되는가?

주요 결과

• CIFAR10에서 ATDA의 원래 평가가 너무 작은 변형 한계로 인해 오해의 소지가 있었음에도 불구하고, SIM-Adv는 반복적 적대적 예제를 방어할 때 ATDA 대비 35.67% 높은 테스트 정확도를 기록했다.
• CIFAR10에서 SIM-Adv는 Madry-Adv 대비 훈련 시간을 76.03% 줄였으며, 테스트 정확도 저하도 3.78% 미만으로 유지했다.
• SIM-Adv는 단일 단계 및 반복적 적대적 예제 모두에 대해 Free-Adv 및 ATDA를 능가하는 강건성을 보이며, 뛰어난 일반화 능력과 안정성을 입증했다.
• CIFAR10에서 BIM-Adv 대비 훈련 시간을 75% 이상 절감했으며, MNIST 및 FMNIST에서는 60% 이상 절감하여 자원 제약 환경에서의 적용 가능성을 확보했다.
• 분석 결과 ATDA의 실패 원인은 FGSM 예제(더 적합하지 않은 대체 예제) 사용과 무작위성에 민감한 도메인 적응 손실로 인해 강건성이 약화되었기 때문임을 규명했다.
• 더 큰 단계별 변형 크기와 반복 공격에서 유도된 중간 예제의 사용은 방어 성능을 크게 향상시키며, 향후 방법 개선을 위한 실질적인 설계 지침을 제공한다.