[논문 리뷰] Improving Global Adversarial Robustness Generalization With Adversarially Trained GAN

Desheng Wang, Weidong Jin외 2명|arXiv (Cornell University)|2021. 03. 08.

Adversarial Robustness in Machine Learning참고 문헌 60인용 수 6

한 줄 요약

이 논문은 전역 적으로 강건한 적대적 예측 일반화를 향상시키기 위해 적대적 훈련(AT)을 GAN 훈련에 통합한 새로운 생성적 적대적 방어 방법인 ATGAN을 제안한다. 조건부 GAN과 인지적 손실을 활용하고 생성기(generator)를 데이터 증강 수단으로 사용함으로써 ATGAN은 왜곡된 기울기를 제거하고, $L_\infty$-유계 공격 하에서 MNIST, SVHN, CIFAR-10에서 최고 수준의 강건성을 달성한다.

ABSTRACT

Convolutional neural networks (CNNs) have achieved beyond human-level accuracy in the image classification task and are widely deployed in real-world environments. However, CNNs show vulnerability to adversarial perturbations that are well-designed noises aiming to mislead the classification models. In order to defend against the adversarial perturbations, adversarially trained GAN (ATGAN) is proposed to improve the adversarial robustness generalization of the state-of-the-art CNNs trained by adversarial training. ATGAN incorporates adversarial training into standard GAN training procedure to remove obfuscated gradients which can lead to a false sense in defending against the adversarial perturbations and are commonly observed in existing GANs-based adversarial defense methods. Moreover, ATGAN adopts the image-to-image generator as data augmentation to increase the sample complexity needed for adversarial robustness generalization in adversarial training. Experimental results in MNIST SVHN and CIFAR-10 datasets show that the proposed method doesn't rely on obfuscated gradients and achieves better global adversarial robustness generalization performance than the adversarially trained state-of-the-art CNNs.

연구 동기 및 목표

• 더 큰 변형이 가해질 경우, 특히 복잡한 데이터셋에서 적대적으로 훈련된 CNN의 낮은 일반화 성능을 해결하기 위해.
• GAN 기반의 적대적 방어 방법에서 흔히 발생하는 왜곡된 기울기를 제거하여 잘못된 안전감을 유도하는 것을 방지하기 위해.
• GAN을 고수준의 데이터 증강 수단으로 활용하여 적대적 강건성 일반화의 샘플 복잡도를 향상시키기 위해.
• 다양한 벤치마크에서 최신 AT 기반 모델보다 더 나은 전역 적대적 강건성 일반화를 달성하기 위해.

제안 방법

• 표준 GAN 훈련에 min-max 적대적 훈련 절차를 통합하여 생성기와 판별기의 강건성 향상을 동시에 최적화한다.
• 훈련 안정성 향상과 클래스별 생성 향상을 위해 조건부 GAN(cGAN)과 보조 분류기 GAN(AC-GAN)을 사용한다.
• 생성된 이미지의 품질을 향상시키기 위해 인지적 손실(perceptual loss)을 적용하여 실제 데이터와 의미적·인지적으로 유사하게 만든다.
• 생성기를 데이터 증강 수단으로 활용하여 효과적인 훈련 데이터의 다양성과 복잡도를 높인다.
• GAN 최적화 과정에 적대적 예제를 통합하여 판별기가 $L_\infty$-유계 변형에 대해 강건하도록 훈련한다.
• 적대적 훈련과 GAN 훈련을 융합하여 동시에 강건성 향상과 기울기 왜곡 방지를 달성한다.

실험 결과

연구 질문

• RQ1 적대적 훈련과 GAN 훈련을 융합함으로써 표준 AT를 초월한 전역 적대적 강건성 일반화를 향상시킬 수 있는가?
• RQ2 제안된 ATGAN 프레임워크가 GAN 기반 방어 방법에서 흔히 발생하는 왜곡된 기울기를 제거하는가?
• RQ3 GAN 기반의 데이터 증강이 적대적으로 훈련된 모델의 샘플 복잡도와 강건성 일반화에 어떤 영향을 미치는가?
• RQ4 훈련 중에 변형 크기($\epsilon_t$)의 선택이 ATGAN의 성능에 다양한 데이터셋에서 어떤 영향을 미치는가?
• RQ5 ATGAN은 MNIST, SVHN, CIFAR-10에서 최신 AT 기반 모델보다 더 나은 강건성 일반화를 달성하는가?

주요 결과

• ATGAN은 MNIST, SVHN, CIFAR-10에서 최신 AT 기반 모델보다 뛰어난 전역 적대적 강건성 일반화 성능을 달성한다.
• MNIST에서 ATGAN은 $\epsilon = 0.3$일 때 $L_\infty$ 강건 정확도 0.981을 기록하여 기준 모델을 초월한다.
• SVHN에서 ATGAN은 $\epsilon = 0.4$일 때 강건 정확도 0.680을 달성하여 더 높은 $\epsilon_t$에서도 강건성이 향상됨을 보여준다.
• CIFAR-10에서 ATGAN은 $\epsilon = 0.031$일 때 강건 정확도 0.588을 기록하며, 더 높은 $\epsilon_t$에서 성능 저하가 나타나 최적의 저수준 $\epsilon_t$ 사용이 필요함을 시사한다.
• ATGAN의 강건성 곡선은 기준 모델 대비 더 유리한 전역 강건성 프로파일을 보이며, 다양한 변형 크기에서의 일반화 능력 향상을 시사한다.
• ATGAN은 강력하고 전이 가능한 공격에서도 일관된 강건성을 보이며, 왜곡된 기울기를 효과적으로 제거함을 입증한다.