[논문 리뷰] TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP

John X. Morris, Eli Lifland외 4명|arXiv (Cornell University)|2020. 04. 29.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 60

한 줄 요약

TextAttack은 공격을 4개의 모듈 구성으로 결합하고 모델과 데이터 세트 간 벤치마크를 가능하게 하는 NLP 적대적 공격, 데이터 증가, 적대적 학습을 통합하는 파이썬 프레임워크입니다.

ABSTRACT

While there has been substantial research using adversarial attacks to analyze NLP models, each attack is implemented in its own code repository. It remains challenging to develop NLP attacks and utilize them to improve model performance. This paper introduces TextAttack, a Python framework for adversarial attacks, data augmentation, and adversarial training in NLP. TextAttack builds attacks from four components: a goal function, a set of constraints, a transformation, and a search method. TextAttack's modular design enables researchers to easily construct attacks from combinations of novel and existing components. TextAttack provides implementations of 16 adversarial attacks from the literature and supports a variety of models and datasets, including BERT and other transformers, and all GLUE tasks. TextAttack also includes data augmentation and adversarial training modules for using components of adversarial attacks to improve model accuracy and robustness. TextAttack is democratizing NLP: anyone can try data augmentation and adversarial training on any model or dataset, with just a few lines of code. Code and tutorials are available at https://github.com/QData/TextAttack.

연구 동기 및 목표

• NLP 모델의 강력한 평가를 표준화된 적대적 공격으로 촉진한다.
• 데이터 세트와 모델 간의 공격 방법 재현 및 비교의 장벽을 낮춘다.
• 새로운 방법을 위해 공격 구성 요소를 재사용할 수 있는 통합 플랫폼을 제공한다.
• 정확도와 견고성을 향상시키기 위해 데이터 증가 및 적대적 학습을 가능하게 한다.

제안 방법

• 목표 함수, 제약 조건, 변환, 탐색 방법의 4가지 모듈 구성으로 공격 구성.
• 문헌에서 구현된 16개의 적대적 공격을 재사용 가능한 attack 레시피로 제공.
• 모델 및 작업에 대한 쉬운 테스트를 위해 HuggingFace 트랜스포머스 및 NLP 데이터 세트와 통합.
• 모델의 견고성을 향상시키기 위한 데이터 증가 및 적대적 학습 파이프라인 포함.
• 빠른 실험을 위한 명령행 및 파이썬 API를 제공(예: textattack attack, textattack train).

실험 결과

연구 질문

• RQ1 NLP 적대적 공격을 모델 및 데이터 세트 간에 어떻게 표준화하고 벤치마크할 수 있는가?
• RQ2 모듈식 프레임워크가 기존 구성 요소를 재사용하여 새로운 공격의 빠른 구성을 촉진할 수 있는가?
• RQ3 데이터 증가 및 적대적 학습이 NLP 작업에서 모델의 견고성에 어떤 영향을 미치는가?
• RQ4 공격 레시피를 분류/함의 여부를 넘어 다른 모델(예: 번역, 요약, GLUE 작업)에 얼마나 광범위하게 적용할 수 있는가?

주요 결과

• TextAttack은 문헌의 16개 공격을 재사용 가능한 레시피로 구현하고 있다.
• LSTM, CNN, BERT, RoBERTa를 포함한 다양한 모델과 모든 GLUE 작업을 포함한 NLP 작업을 지원한다.
• 프레임워크는 견고성을 향상시키기 위한 데이터 증가 및 적대적 학습을 가능하게 한다.
• 공격 구성 요소는 기존 공격을 최소한의 코드로 재현하거나 확장하도록 결합되도록 설계되었다.
• 프레임워크는 HuggingFace 라이브러리와의 통합을 포함한 사용 편의성에 중점을 두며 일반 작업을 다섯 줄 미만의 코드로 수행한다는 주장이다.