[논문 리뷰] A Geometry-Inspired Attack for Generating Natural Language Adversarial Examples

Meng Zhao, Roger Wattenhofer|arXiv (Cornell University)|2020. 10. 03.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 3

한 줄 요약

이 논문은 딥 네ural 네트워크의 결정 경계를 반복적으로 근사함으로써 자연어 적으로 악성 예제를 생성하는 기하학적 영감을 받은 공격을 제안한다. 이 공격은 최소한의 단어 교체(최저 8.05%)로도 높은 오염률(영화 리뷰 데이터셋 IMDB에서 최대 91.84%)을 달성하며, 인간 평가를 통해 악성 예제가 원본 텍스트와 거의 구분되지 않음을 확인하여, 높은 인지 불가능성과 자연어 처리 모델 공격의 높은 효과성을 입증한다.

ABSTRACT

Generating adversarial examples for natural language is hard, as natural language consists of discrete symbols, and examples are often of variable lengths. In this paper, we propose a geometry-inspired attack for generating natural language adversarial examples. Our attack generates adversarial examples by iteratively approximating the decision boundary of Deep Neural Networks (DNNs). Experiments on two datasets with two different models show that our attack fools natural language models with high success rates, while only replacing a few words. Human evaluation shows that adversarial examples generated by our attack are hard for humans to recognize. Further experiments show that adversarial training can improve model robustness against our attack.

연구 동기 및 목표

• 텍스트의 이산적이고 길이가 변하는 특성으로 인해 자연어 악성 예제를 생성하는 데 도전하는 것.
• 컴퓨터 비전 분야에서 성공한 방법을 영감으로 삼아 딥 네럴 네트워크의 결정 경계 기하학적 구조를 활용하는 공격을 개발하는 것.
• 원본 의미와 감성을 유지하면서도 매우 효과적이고 인간이 인지하기 어려운 악성 예제를 생성하는 것.
• 제안된 공격에 대한 모델의 강건성 평가 및 악성 훈련이 이러한 교란에 대한 저항력을 향상시킬 수 있는지 조사하는 것.

제안 방법

• 공격은 입력에 가장 가까운 결정 경계 상의 점을 찾아내기 위해 기울기 기반 최적화를 사용하여 DNN의 결정 경계를 반복적으로 근사한다.
• 의미적으로 유사한 대체어를 사전에 정의된 어휘에서 선택하여 단어 수준의 교란을 수행함으로써 문법적·의미적 일관성을 유지한다.
• 단어 교체 비율을 최소화하면서 모델의 오분류 비율을 최대화하기 위해 제약 조건이 있는 최적화 프레임워크를 사용한다.
• 교란이 유효한 이산 입력 공간 내에 유지되도록 사영 단계를 적용하여 문장의 유창성을 유지한다.
• 공격은 흰 상자 설정에서 수행되며, 최적화 과정 중 모델 기울기와 예측에 접근이 필요하다.
• 악성 훈련은 각 훈련 에포크 동안 생성된 악성 예제로 모델을 미세 조정하여 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 텍스트의 이산적이고 길이가 변하는 특성에도 불구하고, 기하학적 영감을 받은 접근이 자연어 악성 예제를 효과적으로 생성할 수 있는가?
• RQ2 제안된 공격이 표준 텍스트 분류 벤치마크에서 최신 NLP 모델(CNN, RNN 등)을 얼마나 효과적으로 오염시킬 수 있는가?
• RQ3 이 방법으로 생성된 악성 예제가 인간 평가자에 의해 의미 유사성과 유창성 측면에서 얼마나 유지되는가?
• RQ4 제안된 공격 기반 악성 훈련이 이러한 교란에 대한 모델의 강건성을 향상시킬 수 있는가?
• RQ5 단어 교체 비율은 악성 예제의 성공률과 인간에 의한 탐지 가능성과 어떻게 관련이 있는가?

주요 결과

• RNN 모델을 사용하여 IMDB 데이터셋에서 공격 성공률가 91.84%에 도달했으며, 평균 단어 교체 비율은 11.64%였다.
• AG’s News 데이터셋에서는 공격 성공률가 91.38%에 도달했고, 평균 단어 교체 비율은 17.38%였으며, 이는 더 긴 텍스트에서의 높은 효과성을 보여준다.
• 인간 평가 결과, IMDB 데이터셋에서 악성 예제에 대한 모델 예측 정확도가 원본 예제와 비교해 단지 2%p 떨어져 있어, 매우 높은 인지 불가능성을 확인했다.
• 작업자들은 IMDB에서 원본과 악성 예제 간 유사도를 5점 만점에 4.13점으로 평가했고, AG’s News에서는 4.96점으로 평가하여 교란이 미세하고 탐지하기 어려운 것을 확인했다.
• 악성 훈련은 공격 성공률를 시간이 지남에 따라 크게 감소시켰으며, IMDB에서 10 에포크 후 성공률가 약 90%에서 30% 이하로 떨어져 강건성 향상을 확인했다.
• 악성 훈련 초기에는 악성 예제의 평균 단어 교체 비율이 증가했지만, 이후 감소하는 경향을 보였으며, 이는 모델이 높은 교체 비율 공격에 먼저 저항하도록 학습했다는 것을 시사한다.