[논문 리뷰] Generating Natural Adversarial Examples

Zhengli Zhao, Dheeru Dua외 1명|arXiv (Cornell University)|2017. 10. 31.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 364

한 줄 요약

논문은 GAN 잠재 공간에서 검색하여 자연스럽고 읽기 쉬운 적대적 예제를 생성하는 프레임워크를 소개하고, 이미지 및 텍스트 도메인에서 블랙박스 분류기를 평가하고 해석할 수 있도록 한다.

ABSTRACT

Due to their complex nature, it is hard to characterize the ways in which machine learning models can misbehave or be exploited when deployed. Recent work on adversarial examples, i.e. inputs with minor perturbations that result in substantially different model predictions, is helpful in evaluating the robustness of these models by exposing the adversarial scenarios where they fail. However, these malicious perturbations are often unnatural, not semantically meaningful, and not applicable to complicated domains such as language. In this paper, we propose a framework to generate natural and legible adversarial examples that lie on the data manifold, by searching in semantic space of dense and continuous data representation, utilizing the recent advances in generative adversarial networks. We present generated adversaries to demonstrate the potential of the proposed approach for black-box classifiers for a wide range of applications such as image classification, textual entailment, and machine translation. We include experiments to show that the generated adversaries are natural, legible to humans, and useful in evaluating and analyzing black-box classifiers.

연구 동기 및 목표

• 자연스럽고 의미론적으로 의미 있는 적대적 예제를 사용함으로써 블랙박스 분류기의 견고한 평가를 촉진한다.
• 데이터 매니폴드에 위치하고 읽기 쉬운 잠재 공간 탐색 방법을 제안한다.
• 이 접근법을 이미지 및 텍스트 도메인 모두에 적용하여 모델의 로컬 의사결정 동작을 밝힌다.
• 자연스러운 적대적 예제의 강건성 분석에 대한 유용성을 보여주는 정량적 및 인간 평가를 제공한다.

제안 방법

• 데이터를 잠재 공간 z로 매핑하고 다시 x 공간으로 되돌리기 위한 인버터를 갖춘 Wasserstein GAN (WGAN)을 훈련한다.
• 역으로 인버트된 잠재 z′를 섭동하고 생성기로 디코딩하여 x̃를 얻는 잠재 공간 섭동 절차를 학습한다.
• x* = Gθ(z*)를 정의하되 z*는 f(Gθ(z̃)) ≠ f(x)을 만족하면서 z′과의 거리를 최소화하도록 한다.
• 재구성 오차와 z와 Iγ(Gθ(z)) 간의 발산 사이의 합으로 구성된 손실 L을 사용하여 정상 잠재 분포를 강제한다.
• 블랙박스 친화적이고 적대적 예제를 보장하는 두 가지 탐색 알고리즘(iterative stochastic search 및 hybrid shrinking search)을 구현한다.
• 그래디언트 정보 없이 효율성을 향상시키기 위해 coarse-to-fine 탐색 전략을 채택한다.

실험 결과

연구 질문

• RQ1 학습된 잠재 표현에서 입력 공간이 아닌 방식으로 작동함으로써 블랙박스 분류기에 대해 자연스러운 적대적 예제를 생성할 수 있는가?
• RQ2 자연스러운 적대적 예제가 이미지 및 텍스트 도메인에서 모델을 속이면서도 문법적/의미적 타당성을 유지하는가?
• RQ3 잠재 공간 섭동으로 측정된 분류기의 강건성이 작업 간 전통적인 정확도와 상관관계가 있는가?
• RQ4 생성된 적대적 예제가 시각, 텍스트 추론 및 기계 번역에서의 모델 의사결정 해석에 어떻게 정보를 제공하는가?

주요 결과

• 생성된 적대적 예제는 이미지와 텍스트에서 자연스러워 보이고 해독 가능하여 분류기 의사결정에 의미 있는 통찰을 제공한다.
• 더 정확한 분류기는 예측을 바꾸려면 더 큰 잠재 공간 섭동(Δz)이 필요한 경향이 있어 강건성 차이를 시사한다.
• 이 프레임워크는 Random Forests와 같은 비미분 가능 모델을 포함한 블랙박스 모델에 대해 MNIST, LSUN, 텍스트 추론, 번역 작업에서 작동한다.
• 인간 평가에서 적대적 예제가 원래 입력과의 자연스러움 및 유사성을 확인하여 해석 가능성을 뒷받침한다.
• Hybrid shrinking search가 적대적 예제 탐지의 효과를 유지하면서 상당한 속도 향상을 달성한다.