[논문 리뷰] Generative Adversarial Examples.

Yang Song, Rui Shu외 2명|arXiv (Cornell University)|2018. 05. 21.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 생성적 적대적 예제(generative adversarial examples)를 소개한다. 이는 조건부 생성 모델(AC-GAN)을 사용해 완전히 새로운 이미지를 합성한 것으로, 실제 데이터에 대한 변형이 아닌, 목표 클래스에 속하는 것으로 생성되었음에도 불구하고 타겟 분류기에 의해 잘못 분류된다. 이 방법은 강력한 방어 조치, 예를 들어 적대적 훈련과 인증 방어 기법을 우회하며, 정밀도 평가를 위한 새로운이고 더욱 은밀한 위협 모델을 제시한다.

ABSTRACT

Adversarial examples are typically constructed by perturbing an existing data point, and current defense methods are focused on guarding against this type of attack. In this paper, we propose a new class of adversarial examples that are synthesized entirely from scratch using a conditional generative model. We first train an Auxiliary Classifier Generative Adversarial Network (AC-GAN) to model the class-conditional distribution over inputs. Then, conditioned on a desired class, we search over the AC-GAN latent space to find images that are likely under the generative model and are misclassified by a target classifier. We demonstrate through human evaluation that this new kind of adversarial inputs, which we call Generative Adversarial Examples, are legitimate and belong to the desired class. Our empirical results on the MNIST, SVHN, and CelebA datasets show that generative adversarial examples can easily bypass strong adversarial training and certified defense methods which can foil existing adversarial attacks.

연구 동기 및 목표

• 기존의 적대적 예제가 실제 입력을 변형하는 데 의존하여 변형을 감지하거나 완화하는 방어 조치에 취약하다는 한계를 해결하기 위해.
• 적대적 예제가 생성 모델을 사용해 실제 데이터 포인트에서 유도되지 않고도 완전히 새로운 방식으로 생성될 수 있는지 탐색하기 위해.
• 기존의 데이터 포인트에서 유도되지 않은 새로운 종류의 적대적 예제에 대해 최신 기술 방어 기법의 정밀도를 평가하기 위해.
• 이러한 생성적 적대적 예제가 시각적으로 타당하며 인간이 목표 클래스에 속하는 것으로 인식할 수 있도록 하여 현실적인 위협이 되도록 하기 위해.

제안 방법

• MNIST, SVHN, CelebA 데이터셋에서 입력 데이터의 클래스 조건부 분포를 모델링하기 위해 보조 분류기 GAN(AC-GAN)을 훈련한다.
• AC-GAN을 목표 클래스 레이블로 조건화하고 잠재 공간 내에서 탐색하여 생성기에서의 가능성은 최대화하고 실제 데이터 분포에서의 가능성은 최소화하는 이미지를 생성한다.
• 타겟 분류기를 사용하여 생성된 이미지가 목표 클래스에 속하도록 생성되었음에도 불구하고 다른 클래스로 잘못 분류되는지 평가한다.
• 기울기 기반 탐색을 사용해 잠재 공간 최적화를 수행하여 높은 가능성과 함께 잘못 분류되는 이미지를 생성하는 잠재 벡터를 찾는다.
• 인간 평가를 통해 생성된 예제의 합법성을 검증하여 인간 관찰자가 이들이 목표 클래스의 진정한 예시로 인식함을 확인한다.
• 생성된 예제를 적대적 훈련과 인증 방어 기법을 포함한 강력한 방어 조치에 대해 테스트하여 그들의 우회 능력을 평가한다.

실험 결과

연구 질문

• RQ1 실제 이미지를 변형하지 않고 잠재 공간에서 완전히 새로운 방식으로 적대적 예제를 생성할 수 있으며, 이는 강력한 분류기에 대해 여전히 효과적인가?
• RQ2 생성적 적대적 예제는 시각적으로 타당하며 인간 관찰자가 목표 클래스의 진정한 예시로 인식하는가?
• RQ3 이러한 합성 예제는 적대적 훈련과 변형 기반 공격에 효과적인 최신 기술 방어 기법, 예를 들어 인증 방어 기법을 우회할 수 있는가?
• RQ4 기존의 적대적 예제와 비교해 볼 때, 생성적 적대적 예제의 공격 성공률과 방어 기법에 대한 저항성은 어떻게 다른가?

주요 결과

• 생성적 적대적 예제는 MNIST, SVHN, CelebA에서 강력한 적대적 훈련 방어 조치를 성공적으로 우회하며, 입력 변형에 의존하지 않고도 높은 공격 성공률를 기록한다.
• 이 방법은 변형 기반 공격에 대해 정밀도를 보장하도록 설계된 인증 방어 기법을 우회하며, 현재의 방어 설계에 근본적인 한계가 있음을 시사한다.
• 인간 평가를 통해 생성된 예제가 목표 클래스의 진정한 예시로 간주됨을 확인하여, 이들의 현실성과 은밀함을 입증한다.
• 타겟 분류기가 기존의 적대적 예제에 대해 강건한 경우에도 생성적 적대적 예제의 공격 성공률는 높은 수준을 유지하며, 그 효과성을 입증한다.
• 이러한 접근은 적대적 입력이 변형이 아니라 데이터 다양체에서 유도된 합성된 고가능성 샘플이라는 새로운 위협 모델을 드러내며, 기존의 방어 가정에 도전한다.