[논문 리뷰] Is BERT Really Robust? Natural Language Attack on Text Classification and Entailment

Di Jin, Zhijing Jin외 2명|arXiv (Cornell University)|2019. 07. 27.

Adversarial Robustness in Machine Learning인용 수 171

한 줄 요약

이 논문은 텍스트 분류 및 텍스트 함의 작업에서 최신 기술 모델, 특히 BERT를 성공적으로 속이는 자연스러운 적대적 텍스트 예제를 생성하는 강력하고 효율적인 방법인 TextFooler을 소개한다. 의미 그대로의 일관성과 문법적 정확성을 유지하면서도 높은 공격 성공률를 달성하여, 심지어 강력한 사전 훈련된 모델들도 미세한, 인간이 구분하기 어려운 변형에 취약하다는 것을 보여준다.

ABSTRACT

Machine learning algorithms are often vulnerable to adversarial examples that have imperceptible alterations from the original counterparts but can fool the state-of-the-art models. It is helpful to evaluate or even improve the robustness of these models by exposing the maliciously crafted adversarial examples. In this paper, we present TextFooler, a simple but strong baseline to generate natural adversarial text. By applying it to two fundamental natural language tasks, text classification and textual entailment, we successfully attacked three target models, including the powerful pre-trained BERT, and the widely used convolutional and recurrent neural networks. We demonstrate the advantages of this framework in three ways: (1) effective---it outperforms state-of-the-art attacks in terms of success rate and perturbation rate, (2) utility-preserving---it preserves semantic content and grammaticality, and remains correctly classified by humans, and (3) efficient---it generates adversarial text with computational complexity linear to the text length. *The code, pre-trained target models, and test examples are available at this https URL.

연구 동기 및 목표

• 최신 기술 NLP 모델, 특히 BERT가 자연어 적대적 예제에 얼마나 강건한지 조사하기 위해.
• 의미적 일관성과 문법적 정확성을 유지하면서도 높은 성공률로 적대적 텍스트를 생성하는 방법을 개발하기 위해.
• 텍스트 분류 및 텍스트 함의와 같은 기본적인 NLP 작업에 대한 적대적 공격의 효과성을 평가하기 위해.
• 향후 NLP 분야의 적대적 강건성 연구를 위한 강력하고 효율적인 기준을 제공하기 위해.

제안 방법

• TextFooler는 입력 텍스트의 단어를 모델의 예측 오차를 최대화하는 의미적으로 유사한 동의어로 반복적으로 교체하여 적대적 예제를 생성한다.
• 가장 영향력 있는 단어를 수정하기 위해 기울기 기반 최적화를 사용하여 최소한의 변형으로도 공격 성공률를 극대화한다.
• 문장의 의미와 문법을 유지하기 위해 문맥적·구문적으로 적절한 대체어만 선택한다.
• 입력 길이에 대해 선형 계산 복잡도를 가지므로 장문의 텍스트에 대해서도 효율적이다.
• 텍스트 분류 및 텍스트 함의 벤치마크에서 BERT, CNN, RNN과 같은 사전 훈련된 모델에 공격을 적용한다.
• 적대적 예제가 인간에게도 자연스럽고 의미 있는지 확인하기 위해 인간 평가를 통해 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 사람들이 눈치채기 어려운 자연어 적대적 예제를 생성할 수 있는가? 그리고 이러한 예제는 최신 기술 NLP 모델을 효과적으로 속일 수 있는가?
• RQ2 텍스트 분류 및 텍스트 함의 작업에서 기존 공격 방법과 비교해 TextFooler의 성공률와 변형률은 어떻게 되는가?
• RQ3 BERT와 같은 강력한 사전 훈련된 모델은 자연어 적대적 공격에 얼마나 강건한가?
• RQ4 적대적 예제는 의미적 일관성과 문법적 정확성을 유지하면서도 딥러닝 모델을 속일 수 있는가?

주요 결과

• TextFooler는 텍스트 분류 및 텍스트 함의 작업에서 최신 기술 방법보다 높은 공격 성공률를 달성했다.
• 높은 의미 유사성과 문법 정확성을 유지했으며, 인간 평가자들이 모든 적대적 예제를 자연스럽고 의미 있는 것으로 정확히 분류했다.
• BERT에 대한 공격이 성공적으로 이루어져, 사전 훈련된 모델조차도 미세한 자연어 변형에 취약하다는 점을 입증했다.
• TextFooler의 계산 복잡도는 입력 길이에 비례하여 선형적으로 증가하므로 장문의 문서에 대해서도 효율적이다.
• CNN 및 RNN과 같은 다양한 모델 아키텍처에 성공적으로 공격하여 광범위한 적용 가능성을 입증했다.
• 결과는 특히 안전이 중요한 응용 분야를 고려할 때 NLP 모델의 강건성 향상 필요성을 강조한다.