[논문 리뷰] Generating Natural Language Adversarial Examples on a Large Scale with Generative Models

Yankun Ren, Jianbin Lin외 5명|arXiv (Cornell University)|2020. 03. 10.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 13

한 줄 요약

이 논문은 조건부 변동 자동차오디터(conditional variational autoencoder, VAE)에 적대적 손실과 GAN 스타일의 구분자들을 통합하여, 기존 입력 데이터에 의존하지 않고 스케일링이 가능하고 고품질의 자연어 적대적 예제를 처음부터 생성할 수 있는 제약 없는 엔드 투 엔드 방법을 제안한다. 이 방법은 기존의 쌍방향(pair-wise) 방법보다 더 높은 공격 성공률과 더 나은 텍스트 품질을 달성하며, 인간이 검증할 수 있는 다양한 텍스트를 생성한다.

ABSTRACT

Today text classification models have been widely used. However, these classifiers are found to be easily fooled by adversarial examples. Fortunately, standard attacking methods generate adversarial texts in a pair-wise way, that is, an adversarial text can only be created from a real-world text by replacing a few words. In many applications, these texts are limited in numbers, therefore their corresponding adversarial examples are often not diverse enough and sometimes hard to read, thus can be easily detected by humans and cannot create chaos at a large scale. In this paper, we propose an end to end solution to efficiently generate adversarial texts from scratch using generative models, which are not restricted to perturbing the given texts. We call it unrestricted adversarial text generation. Specifically, we train a conditional variational autoencoder (VAE) with an additional adversarial loss to guide the generation of adversarial examples. Moreover, to improve the validity of adversarial texts, we utilize discrimators and the training framework of generative adversarial networks (GANs) to make adversarial texts consistent with real data. Experimental results on sentiment analysis demonstrate the scalability and efficiency of our method. It can attack text classification models with a higher success rate than existing methods, and provide acceptable quality for humans in the meantime.

연구 동기 및 목표

• 자연어처리(NLP) 분야에서 기존의 쌍방향 적대적 텍스트 생성 방법의 스케일링 및 다양성 한계를 해결하기 위해.
• 실제 입력 텍스트가 필요 없이 처음부터 적대적 예제를 생성함으로써 대규모 배포를 가능하게 하기 위해.
• 높은 공격 성공률을 유지하면서도 인간의 독해력과 유효성을 향상시키기 위해.
• 제안된 방법이 텍스트 분류 모델에 대한 공격 및 방어 모두에서 효과적임을 입증하기 위해.
• 제약 없는 생성 방식이 적대적 훈련을 위한 데이터 증강에서 쌍방향 생성 방식보다 우수함을 보여주기 위해.

제안 방법

• 목표 레이블에 조건부로 텍스트를 생성하기 위해 조건부 변동 자동차오디터(conditional variational autoencoder, VAE)를 생성기로 사용한다.
• 생성된 텍스트가 인간에 의해 올바르게 분류되더라도 타겟 모델에 의해 잘못 분류되도록 보장하기 위해 적대적 손실을 도입한다.
• 생성된 적대적 텍스트의 분포를 원하는 클래스의 실제 데이터와 일치시키기 위해 GAN 유사 훈련 프레임워크에서 구분자를 활용한다.
• VAE 재구성, 적대적, 구분자 손실을 조합한 복합 손실을 최소화하는 방식으로 공동 훈련 과정을 수행한다.
• 훈련 후 생성기는 타겟 모델에 대한 추가 액세스 없이도 잠재 공간에서 무한한 수의 적대적 예제를 샘플링할 수 있다.
• 이 방법은 처음부터 생성하는 제로샷 생성과 기존 입력을 적대적 예제로 변환하는 것 모두를 지원한다.

실험 결과

연구 질문

• RQ1 이미 존재하는 실제 텍스트를 변형하지 않고도 대규모로 적대적 텍스트 예제를 생성할 수 있는가?
• RQ2 생성 모델이 인간에게 의미적으로 타당하고 동시에 타겟 모델에 의해 잘못 분류되는 적대적 텍스트를 생성할 수 있는가?
• RQ3 구분자의 포함 여부가 생성된 적대적 텍스트의 유창성과 유효성에 어떤 영향을 미치는가?
• RQ4 제약 없는 적대적 텍스트 생성이 적대적 훈련에 사용되었을 때 모델의 강건성 향상에 기여하는가?
• RQ5 제약 없는 생성 방식이 쌍방향 생성 방식 대비 품질과 공격 성공률 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 RT 데이터셋에서 90.2%의 공격 성공률, IMDB 데이터셋에서 93.9%의 공격 성공률를 기록하여, 스케일링과 품질 측면에서 쌍방향 기준선을 초월했다.
• 구분자 손실을 적용한 결과, RT에서 퍼플렉서티는 2.79, IMDB에서는 2.88를 기록하여 높은 유창성과 일관성을 나타냈다.
• 구분자를 사용했을 경우 RT에서 텍스트 유효성은 75%, IMDB에서는 73%였고, 구분자를 사용하지 않았을 경우는 각각 15%와 12%에 그쳐, 구분자가 인간 독해력 향상에 결정적인 역할을 함을 입증했다.
• 기존 텍스트 없이 처음부터 제약 없는 생성 방식은 쌍방향 생성 방식과 유사하거나 더 높은 적대적 테스트 정확도를 달성했지만, 퍼플렉서티가 현저히 낮아 더 높은 텍스트 품질을 의미한다.
• 제약 없는 생성 예제를 사용한 적대적 훈련은 모델의 강건성을 향상시켜, 적대적 테스트 정확도를 0%에서 90% 이상으로 끌어올렸다.
• 제거 실험(ablation study) 결과, 구분자 손실을 제거하면 공격 성공률는 유사하게 유지되지만 유효성은 급격히 감소함을 확인하여, 분포 일치의 중요성을 입증했다.