[논문 리뷰] Curriculum Adversarial Training

Qi-Zhi Cai, Min Du외 2명|arXiv (Cornell University)|2018. 05. 13.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 33

한 줄 요약

이 논문은 공격 강도가 점차 증가하는 공격을 사용해 생성된 적대적 예제로 모델을 훈련시음으로써 적대적 예제에 대한 강건성을 향상시키는 Curriculum Adversarial Training (CAT)을 제안한다. CAT는 커리큘럼 학습, 배치 혼합, 그리고 양자화를 결합하여 기존 최고 성능 기준 대비 CIFAR-10에서 25% 향상된 최악의 경우 정확도와 SVHN에서 35% 향상된 성능을 달성하면서도 청소년 데이터에 대한 near-SOTA 성능을 유지한다.

ABSTRACT

Recently, deep learning has been applied to many security-sensitive applications, such as facial authentication. The existence of adversarial examples hinders such applications. The state-of-the-art result on defense shows that adversarial training can be applied to train a robust model on MNIST against adversarial examples; but it fails to achieve a high empirical worst-case accuracy on a more complex task, such as CIFAR-10 and SVHN. In our work, we propose curriculum adversarial training (CAT) to resolve this issue. The basic idea is to develop a curriculum of adversarial examples generated by attacks with a wide range of strengths. With two techniques to mitigate the forgetting and the generalization issues, we demonstrate that CAT can improve the prior art's empirical worst-case accuracy by a large margin of 25% on CIFAR-10 and 35% on SVHN. At the same, the model's performance on non-adversarial inputs is comparable to the state-of-the-art models.

연구 동기 및 목표

• CIFAR-10과 SVHN과 같은 복잡한 데이터셋에서 기존 방법이 약 45%와 약 40%의 최악의 경우 정확도를 달성함에 따라, 적대적 훈련의 제한된 강건성 문제를 해결하기 위해.
• 다양한 공격 강도를 가진 적대적 예제의 커리큘럼을 도입하여 적대적 훈련에서 치명적인 기억 상실과 낮은 일반화 능력을 극복하기 위해.
• 커리큘럼 학습과 배치 혼합, 양자화를 결합함으로써 모델의 내성 강건성을 크게 향상시키되, 청소년 데이터 성능을 희생시키지 않는 것이 목적이다.

제안 방법

• 공격 강도가 점차 증가하는 방식(예: K=1, 2, ..., K_max인 PGD)으로 적대적 예제를 생성하고, 더 어려운 예제부터 점진적으로 훈련하는 커리큘럼 학습 프레임워크를 도입한다.
• 청정 데이터와 다양한 공격 강도에서 생성된 적대적 예제를 포함한 미니배치를 혼합하여 일반화 능력을 향상시키고 특정 공격 유형에 대한 과적합을 줄인다.
• 훈련 후 양자화(예: 8비트 또는 4비트)를 적용하여 공격 공간을 축소하고, 특히 강력한 공격에 대한 강건성을 향상시킨다.
• 이중 단계 훈련 과정을 사용한다: 먼저 약한 공격으로 학습하여 학습 안정성을 확보하고, 점차 강한 공격을 도입하여 강건성을 향상시킨다.
• 커리큘럼, 배치 혼합, 양자화의 세 가지 요소를 통합된 훈련 파이프라인으로 결합하여 내성 강건성을 극대화한다.
• 약한 공격은 치명적인 기억 상실을 방지하는 데 기여하고, 강한 공격과 양자화가 함께 작용하여 알려지지 않은 공격에 대한 일반화 능력을 향상시킨다는 통찰을 활용한다.

실험 결과

연구 질문

• RQ1 점차 증가하는 공격 강도를 가진 적대적 예제의 커리큘럼이, 이전의 적대적 훈련 방법을 넘어서 CIFAR-10과 SVHN과 같은 복잡한 데이터셋에서 강건성을 향상시킬 수 있는가?
• RQ2 훈련 커리큘럼에 약한 공격을 포함시키는 것이 적대적 훈련 중 치명적인 기억 상실을 완화하는 데 기여하는가?
• RQ3 양자화가 커리큘럼 기반 적대적 훈련과 함께 효과적인 방어 수단이 될 수 있는가?
• RQ4 배치 혼합은 강건성에 필수적인가, 아니면 커리큘럼 학습만으로도 충분한가?
• RQ5 CAT는 표준 훈련 대비 비적대적 입력에 대한 성능을 얼마나 떨어뜨리는가?

주요 결과

• CAT는 CIFAR-10에서 최악의 경우 테스트 정확도를 69.27%까지 향상시켜 이전 최고 성능(46.18%) 대비 25% 상대적 향상률을 달성한다.
• SVHN에서는 최악의 경우 정확도 75.66%를 기록하여 이전 최고 성능(40.38%) 대비 35% 상대적 향상률을 달성한다.
• 비적대적 테스트 데이터에 대한 성능 저하는 미미하며, CIFAR-10에서는 5%에서 6% 정도, SVHN에서는 약 1% 정도 뿐이어서 강력한 일반화 능력을 보여준다.
• 커리큘럼 없이 배치 혼합만 사용할 경우 강력한 공격에 대한 강건성이 떨어지므로, 커리큘럼 학습이 내성 강건성에 필수적임을 입증한다.
• 양자화가 모든 모델 아키텍처와 데이터셋에서 강건성을 크게 향상시키며, CAT와 결합될 경우 강력한 공격에 대한 방어 능력을 더욱 향상시킨다.
• 제거 실험 결과 커리큘럼이 핵심임을 확인: 커리큘럼, 혼합, 양자화를 모두 포함한 CAT는 커리큘럼 없이 혼합과 양자화만 사용한 MIX+Quant보다 크게 뛰어나며, 커리큘럼의 독특한 기여를 입증한다.