[논문 리뷰] Adversarial and Clean Data Are Not Twins

Zhitao Gong, Wenlu Wang외 1명|arXiv (Cornell University)|2017. 04. 17.

Adversarial Robustness in Machine Learning인용 수 103

한 줄 요약

저자들은 악의적 이미지와 깨끗한 이미지를 99% 이상 정확도로 구분하는 이진 분류기를 학습시키고 2차 공격에도 강인함을 보이지만, 에psilon 및 공격 방법에 따른 일반화 한계가 드러난다.

ABSTRACT

Adversarial attack has cast a shadow on the massive success of deep neural networks. Despite being almost visually identical to the clean data, the adversarial images can fool deep neural networks into wrong predictions with very high confidence. In this paper, however, we show that we can build a simple binary classifier separating the adversarial apart from the clean data with accuracy over 99%. We also empirically show that the binary classifier is robust to a second-round adversarial attack. In other words, it is difficult to disguise adversarial samples to bypass the binary classifier. Further more, we empirically investigate the generalization limitation which lingers on all current defensive methods, including the binary classifier approach. And we hypothesize that this is the result of intrinsic property of adversarial crafting algorithms.

연구 동기 및 목표

• 대상 모델과 무관하게 악의적 예제를 강건하게 탐지하는 전처리 단계의 필요성을 제시한다.
• 간단한 이진 분류기가 높은 정확도로 악의적 데이터와 깨끗한 데이터를 구분할 수 있음을 입증한다.
• 2차 악의적 시도로부터 탐지기의 강건성과 일반화 한계를 조사한다.
• 악의적 데이터 생성 방법이 탐지에 미치는 영향을 분석하고 악의적 공간의 고유한 특성을 논의한다.

제안 방법

• 정규 데이터에 대해 신경망 분류기 f1을 학습시켜 X_train 및 X_test로부터 X_adv(f1) 악의적 데이터를 생성한다.
• 깨끗한 샘플과 악의적 샘플을 각각 0과 1로 라벨링한 혼합 데이터셋에서 이진 탐지기 f2를 학습시킨다.
• X_test와 X_adv(f1)_test에서 f2를 평가하여 구분성을 측정한다.
• f2에 의해 향상된 2차 악의적 데이터 세트 {X_test, X_adv(f1)_test}를 테스트하여 공격자가 탐지를 우회하는지 확인한다.
• 다양한 악의적 방법(FGSM, TGSM, JSMA)과 데이터세트(MNIST, CIFAR10, SVHN) 간에 탐지기의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 단순한 이진 분류기가 일반적인 데이터셋에서 악의적 이미지와 깨끗한 이미지를 신뢰할 수 있게 구분할 수 있는가?
• RQ2 악의적 탐지기가 우회를 목표로 한 2차 공격에 대해 강건한가?
• RQ3 다양한 에psilon 값과 악의적 제작 알고리즘에 직면했을 때 탐지기의 일반화 한계는 무엇인가?

주요 결과

• 이진 분류기가 MNIST, CIFAR10, SVHN 전반에서 악의적 데이터와 깨끗한 데이터를 구분하는 정확도가 99%를 넘는다.
• 이진 탐지기는 2차 악의적 공격에 강건하며 탐지기를 알고 있는 공격자도 우회할 수 없다.
• 탐지기의 성능은 악의적 데이터를 생성하는 데 사용되는 epsilon 하이퍼파라미터와 악의적 제작 알고리즘에 민감하다.
• FGSM/TGSM 및 JSMA로 생성된 악의적 데이터세트는 비호환적일 수 있지만 서로 다른 공격자를 섞으면 일반화가 두 가지 모두에 대해 향상된다.
• 적대적 학습과 증류와 같은 방어 방법도 유사한 일반화 한계를 보이며, 이는 악의적 공간의 고유한 속성을 시사한다.