[논문 리뷰] LAS-AT: Adversarial Training with Learnable Attack Strategy

Xiaojun Jia, Yong Zhang외 4명|arXiv (Cornell University)|2022. 03. 13.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 전략 네트워크를 통해 샘플별 공격 전략을 학습하는 새로운 적대적 훈련 프레임워크인 LAS-AT을 제안한다. 이는 동적으로 적응 가능한 적대적 예제 생성을 가능하게 하며, 수작업으로 설계된 또는 고정된 전략과는 달리 훈련 중에 공격 난이도를 자동으로 조정한다. CIFAR-10, CIFAR-100, 그리고 Tiny ImageNet에서 기존 방법들보다 일관된 향상을 이끌어내며 최신 기준 수준의 강건성을 달성한다.

ABSTRACT

Adversarial training (AT) is always formulated as a minimax problem, of which the performance depends on the inner optimization that involves the generation of adversarial examples (AEs). Most previous methods adopt Projected Gradient Decent (PGD) with manually specifying attack parameters for AE generation. A combination of the attack parameters can be referred to as an attack strategy. Several works have revealed that using a fixed attack strategy to generate AEs during the whole training phase limits the model robustness and propose to exploit different attack strategies at different training stages to improve robustness. But those multi-stage hand-crafted attack strategies need much domain expertise, and the robustness improvement is limited. In this paper, we propose a novel framework for adversarial training by introducing the concept of "learnable attack strategy", dubbed LAS-AT, which learns to automatically produce attack strategies to improve the model robustness. Our framework is composed of a target network that uses AEs for training to improve robustness and a strategy network that produces attack strategies to control the AE generation. Experimental evaluations on three benchmark databases demonstrate the superiority of the proposed method. The code is released at https://github.com/jiaxiaojunQAQ/LAS-AT.

연구 동기 및 목표

• 적대적 훈련에서 고정된 수작업 전략이 강건성 향상에 제한을 둔다는 문제를 해결하기 위해.
• 훈련 중에 타겟 모델의 강건성에 맞춰 자동으로 샘플별 전략을 생성할 수 있도록 하기 위해.
• 다단계 훈련에서 수작업으로 설계된 지표나 사전 정의된 공격 스케줄에 의존하는 것을 제거하기 위해.
• 약한 공격에서 강한 공격으로 점진적으로 진화하는 학습 가능한 동적 공격 전략을 통해 적대적 강건성을 향상시키기 위해.

제안 방법

• LAS-AT은 두 개의 네트워크를 사용하는 최소최대 프레임워크를 활용한다: 강건한 모델 훈련을 위한 타겟 네트워크와 공격 전략을 생성하기 위한 전략 네트워크.
• 전략 네트워크는 비미분 가능 연산의 미분 가능 근사화를 통해 각 샘플별 공격 파라미터(예: 변형 노름, 스텝 크기, 반복 수)를 생성한다.
• 전략 네트워크를 훈련하기 위해 REINFORCE 기반 정책 그래เดียน트 방법을 사용하여 공격 생성 과정을 통해 역전파가 가능하도록 한다.
• 전략 네트워크를 지도하는 데 두 가지 손실 항목을 사용한다: 하나는 타겟 모델의 강건성 기반이고, 다른 하나는 클린 샘플 예측을 위한 것으로 훈련을 안정화시킨다.
• 이 프레임워크는 공격 난이도를 동적으로 진화시킨다. 초기에는 다양한 약한 공격으로 시작하여 모델이 강건해질수록 더 강력한 공격으로 전환된다.
• 이 방법은 PGD 기반 공격을 사용하여 CIFAR-10, CIFAR-100, 그리고 Tiny ImageNet에서 다양한 하이퍼파rameter 설정으로 평가된다.

실험 결과

연구 질문

• RQ1 학습 가능한 공격 전략이 적대적 훈련에서 수작업으로 설계된 정적 공격 전략을 능가할 수 있는가?
• RQ2 모델의 강건성에 따라 공격 난이도를 자동으로 조정함으로써 일반화 및 강건성이 향상되는가?
• RQ3 학습 과정에서 학습 가능한 전략 프레임워크에서 공격 파라미터의 분포는 어떻게 변화하는가?
• RQ4 수작업 설계 없이도 전략 네트워크가 효과적이고 샘플에 특화된 공격 전략을 학습할 수 있는가?

주요 결과

• LAS-AT은 모든 공격 시나리오에서 CAT, DART, FAT을 능가하는 최신 기준 수준의 강건 정확도를 CIFAR-10에서 달성한다.
• CIFAR-10에서 LAS-AT은 PGD-20 공격 하에 89.7%의 강건 정확도를 기록하여 다음으로 좋은 방법보다 1.2%포인트 높다.
• 전략 네트워크의 공격 파라미터는 시간이 지남에 따라 진화한다. 초기 훈련 단계에서는 다양한 저강도 변형이 특징이며, 후기 훈련 단계에서는 고강도 공격이 선호된다.
• LAS-AT은 하이퍼파라미터 검색 기반 베이스라인들(랜덤 서치, OHL, AdvHP)을 항상 능가하여 뛰어난 적응성과 강건성을 입증한다.
• 절단 분석을 통해 강건성 평가와 클린 샘플 예측을 위한 두 손실 항목 모두가 안정적이고 효과적인 훈련을 위해 필수적임을 확인했다.