[논문 리뷰] Adaptive Generation of Unrestricted Adversarial Inputs

Isaac Dunn, Hadrien Pouget외 2명|arXiv (Cornell University)|2019. 05. 07.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 10

한 줄 요약

이 논문은 사전 훈련된 GAN을 적대적으로 미세조정하여 현실적이면서도 잘못 분류되는 입력을 생성하는 방법을 제안한다. 기존의 연구와 달리, 이는 방어 모델에 반복적으로 적응하여 단일 순방향 전파로 80%의 공격 성공률를 달성하며, 기존 방법보다 400–2,000배 더 효율적이며, 높은 현실성과 ImageNet까지의 확장성을 유지한다.

ABSTRACT

Neural networks are vulnerable to adversarially-constructed perturbations of their inputs. Most research so far has considered perturbations of a fixed magnitude under some $l_p$ norm. Although studying these attacks is valuable, there has been increasing interest in the construction of (and robustness to) unrestricted attacks, which are not constrained to a small and rather artificial subset of all possible adversarial inputs. We introduce a novel algorithm for generating such unrestricted adversarial inputs which, unlike prior work, is adaptive: it is able to tune its attacks to the classifier being targeted. It also offers a 400-2,000x speedup over the existing state of the art. We demonstrate our approach by generating unrestricted adversarial inputs that fool classifiers robust to perturbation-based attacks. We also show that, by virtue of being adaptive and unrestricted, our attack is able to defeat adversarial training against it.

연구 동기 및 목표

• 현대 방어 기법을 우회할 수 있는 현실적이며 비제한적인 적대적 예제를 생성하는 데 도전한다.
• 적대적으로 훈련된 분류기에서 실패하는 기존 GAN 기반의 적대적 공격 방법의 한계를 극복한다.
• 각 적대적 예제당 순방향/역방향 전파 횟수를 줄여 효율성을 향상시킨다.
• 보조 분류기가 필요 없이 사전 훈련된 GAN을 사용하여 ImageNet과 같은 대규모 데이터셋으로의 적대적 공격 생성을 확장한다.
• 다양한 방어 메커니즘 하에서 잘못 분류율을 극대화하면서도 생성된 이미지의 현실성을 유지한다.

제안 방법

• 사전 훈련된 생성기의 적대적 미세조정을 통해 현실적(판별기 기준)이면서도 대상 분류기에 의해 잘못 분류되는 이미지를 생성한다.
• 실제성에 대한 적대적 손실과 잘못 분류에 대한 교차 엔트로피 손실을 조합한 손실 함수를 사용하여 엔드 투 엔드 훈련을 가능하게 한다.
• 특히 적대적으로 훈련된 분류기에서의 변화에 대응하기 위해 추론 중 생성기를 반복적으로 적응시킨다.
• 실제 데이터 분포에서의 변형을 최소화하면서 잘못 분류율을 극대화할 수 있도록 생성기의 잠재 공간에서 입력을 샘플링한다.
• BigGAN과 같은 사전 훈련된 GAN을 사용하여 MNIST 및 ImageNet을 포함한 다양한 데이터셋에 적용하며, 보조 분류기가 필요 없도록 한다.
• 사전 훈련 후 단일 순방향 전파로만 적대적 예제를 생성함으로써 효율성을 확보한다. 이는 기존 방법이 100–500회 반복이 필요한 데 비해 유리하다.

실험 결과

연구 질문

• RQ1 적대적으로 미세조정된 GAN이 현실적이면서도 일관되게 잘못 분류되는 비제한적 적대적 예제를 생성할 수 있는가?
• RQ2 제안된 방법은 기존의 GAN 기반 공격 대비 적대적으로 훈련된 분류기에서 어떻게 성능을 발휘하는가?
• RQ3 추론 속도 및 계산 비용 측면에서 제안된 방법의 효율성 향상 정도는 어떠한가?
• RQ4 보조 분류기가 필요 없이 고차원 데이터셋인 ImageNet까지의 확장성은 어떻게 달성되는가?
• RQ5 다양한 방어 기법 하에서도 고성능의 공격 성공률를 달성하면서 얼마나 높은 수준의 이미지 현실성을 유지하는가?

주요 결과

• 제안된 방법은 타겟된 적대적 예제에서 80%의 공격 성공률를 기록하였으며, 최신 기술(88.8%)과 유사한 성능을 보였지만, 훨씬 더 높은 효율성을 확보하였다.
• 적대적 미세조정 후 생성된 80%의 적대적 이미지가 올바른 의도된 레이블로 잘못 분류되었으며, 미세조정 없이 생성된 경우는 58%에 그쳤다.
• 높은 현실성을 유지한다: 인간 평가 결과, 생성된 이미지 중 24%가 실제 이미지보다 더 현실적으로 평가되었으며, 이는 기존 작업의 21.8%를 상회하며 완전히 현실적인 이미지의 기준인 50%에 가까워지고 있다.
• 기존 방법 대비 400–2,000배 더 효율적이며, 미세조정 후 각 적대적 예제당 단일 순방향 전파만으로도 생성 가능하다.
• 적대적으로 훈련된 분류기에도 효과적으로 적응하여 방어가 적용된 상황에서도 높은 공격 효율성을 유지한다. 반면 기존 방법은 이러한 방어 조건에서 실패한다.
• ImageNet까지의 확장성에 성공적으로 대응하였으며, 기존 연구에서 사용된 데이터셋보다 16배 큰 데이터셋에서 공격 생성에 성공하였다. 또한, BigGAN과 같은 어떤 사전 훈련된 GAN이라도 보조 분류기가 필요 없이 적용 가능하다.