[논문 리뷰] AT-GAN: A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets.

Xiaosen Wang, Kun He외 1명|arXiv (Cornell University)|2019. 04. 16.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 24

한 줄 요약

AT-GAN는 GAN 기반의 접근 방식을 사용하여 입력에 종속되지 않는, 의미 있는 의미론적 특성을 가진 적대적 예제를 랜덤 노이즈에서 학습하여 생성하는 새로운 생성 공격 프레임워크를 제안한다. 입력 기반의 변형을 거치지 않고도, 정상 데이터 분포에서 적대적 예제 분포로 사전 훈련된 GAN을 전이함으로써, AT-GAN는 화이트박스 모델에서 높은 공격 성공률를 달성하고 블랙박스 환경에서도 중간 수준의 전이 가능성을 보이며, 더 현실적이고 다양한 적대적 예제를 생성한다.

ABSTRACT

Despite the rapid development of adversarial machine learning, most adversarial attack and defense researches mainly focus on the perturbation-based adversarial examples, which is constrained by the input images. In comparison with existing works, we propose non-constrained adversarial examples, which are generated entirely from scratch without any constraint on the input. Unlike perturbation-based attacks, or the so-called unrestricted adversarial attack which is still constrained by the input noise, we aim to learn the distribution of adversarial examples to generate non-constrained but semantically meaningful adversarial examples. Following this spirit, we propose a novel attack framework called AT-GAN (Adversarial Transfer on Generative Adversarial Net). Specifically, we first develop a normal GAN model to learn the distribution of benign data, and then transfer the pre-trained GAN model to estimate the distribution of adversarial examples for the target model. In this way, AT-GAN can learn the distribution of adversarial examples that is very close to the distribution of real data. To our knowledge, this is the first work of building an adversarial generator model that could produce adversarial examples directly from any input noise. Extensive experiments and visualizations show that the proposed AT-GAN can very efficiently generate diverse adversarial examples that are more realistic to human perception. In addition, AT-GAN yields higher attack success rates against adversarially trained models under white-box attack setting and exhibits moderate transferability against black-box models.

연구 동기 및 목표

• 입력 이미지나 입력 노이즈에 종속되는 변형 기반 적대적 공격의 한계를 해결하기 위해.
• 입력 데이터에 의존하지 않고 완전히 랜덤 노이즈에서만 생성되는 적대적 예제를 개발하기 위해.
• 의미 있는 의미론적 특성과 현실적인 적대적 샘플을 생성하기 위해 적대적 예제의 분포를 학습하기 위해.
• 적대적 분포의 생성 모델링을 활용하여, 특히 적대적으로 훈련된 모델에 대해 공격 성공률를 향상시키기 위해.
• 다양한 모델, 특히 블랙박스 환경에서의 전이 가능성을 탐색하기 위해.

제안 방법

• 정상 훈련 데이터의 분포를 모델링하기 위해 표준 GAN을 훈련하여 현실적인 데이터 다각형 표현을 학습하기 위해.
• 목표 모델을 위한 적대적 예제의 분포를 학습하기 위해, 사전 훈련된 생성기의 가중치를 적대적 예제에 대해 미세 조정함으로써 전이하기 위해.
• 전이된 생성기를 사용하여 랜덤 노이즈 벡터에서 직접 비제약 적대적 예제를 생성하기 위해.
• 생성된 다양한 적대적 예제가 의미적으로 유의미하고 시각적으로 현실적인지 확인하기 위해.
• GAN의 잠재 공간을 활용하여 적대적 분포를 탐색하고 샘플링함으로써 효율적이고 확장 가능한 공격 생성을 가능하게 하기 위해.
• 생성기의 복잡한 데이터 분포 모델링 능력을 활용하여 실제 데이터와 유사한 분포를 가진 적대적 예제를 생성하기 위해.

실험 결과

연구 질문

• RQ1 입력 데이터나 입력 기반 변형에 의존하지 않고도 랜덤 노이즈에서 적대적 예제를 생성할 수 있는가?
• RQ2 GAN 기반 모델이 인간의 인지에 대해 의미적으로 유의미하고 현실적인 적대적 예제를 효과적으로 학습하고 생성할 수 있는가?
• RQ3 AT-GAN의 공격 성공률는 화이트박스 및 블랙박스 환경에서 기존의 변형 기반 공격과 비교해 어떻게 다른가?
• RQ4 AT-GAN가 생성한 적대적 예제는 특히 적대적으로 훈련된 모델과의 간에 얼마나 높은 수준으로 전이 가능한가?
• RQ5 GAN 프레임워크를 사용하여 적대적 예제의 분포를 효과적으로 모델링하고 전이함으로써 공격 효율성과 다양성을 향상시킬 수 있는가?

주요 결과

• AT-GAN는 입력 이미지나 입력 기반 변형 없이도 랜덤 노이즈에서 직접 비제약 적대적 예제를 성공적으로 생성한다.
• 시각화 및 인간 인지 평가를 통해 생성된 적대적 예제가 더 현실적이고 의미적으로 유의미하다고 확인되었다.
• 특히 적대적으로 훈련된 모델에 대해 기존 기준 방법보다 높은 공격 성공률를 달성하였다.
• 중간 수준의 전이 가능성을 보이며, 타겟 모델에 대한 직접적 액세스 없이도 블랙박스 모델에 효과적인 공격를 수행할 수 있었다.
• 전이된 GAN 생성기는 실제 데이터 분포와 유사한 적대적 예제의 분포를 학습하여 다양한 고품질 샘플 생성이 가능했다.
• 이 방법은 노이즈에서 적대적 예제를 생성하기 위해 특별히 설계된 첫 번째 생성 모델로, 적대적 공격 생성의 새로운 패러다임을 설정하였다.