[논문 리뷰] TextAttack: A Framework for Adversarial Attacks in Natural Language Processing

John X. Morris, Eli Lifland외 2명|arXiv (Cornell University)|2020. 04. 29.

Topic Modeling참고 문헌 11인용 수 46

한 줄 요약

TextAttack는 구성 요소 기반 설계를 통해 자연어 처리(NLP)에서 적대적 공격, 데이터 증강, 적대적 훈련을 구축하고 적용하며 재사용할 수 있도록 해주는 모듈러한 파이썬 프레임워크입니다. 공격는 목표 함수, 제약 조건, 변환, 검색 방법로 구성되며, 16개의 공격를 지원하고 BERT 및 GLUE 벤치마크와 통합되어 모델의 강건성과 정확도를 향상시키는 데 있어 장벽을 크게 낮춥니다.

ABSTRACT

While there has been substantial research using adversarial attacks to analyze NLP models, each attack is implemented in its own code repository. It remains challenging to develop NLP attacks and utilize them to improve model performance. This paper introduces TextAttack, a Python framework for adversarial attacks, data augmentation, and adversarial training in NLP. TextAttack builds attacks from four components: a goal function, a set of constraints, a transformation, and a search method. TextAttack's modular design enables researchers to easily construct attacks from combinations of novel and existing components. TextAttack provides implementations of 16 adversarial attacks from the literature and supports a variety of models and datasets, including BERT and other transformers, and all GLUE tasks. TextAttack also includes data augmentation and adversarial training modules for using components of adversarial attacks to improve model accuracy and robustness. TextAttack is democratizing NLP: anyone can try data augmentation and adversarial training on any model or dataset, with just a few lines of code. Code and tutorials are available at this https URL.

연구 동기 및 목표

• 연구자들은 분산된 코드 저장소에 흩어져 있는 구현 덕분에 NLP에서 적대적 공격를 재사용하거나 확장하는 데 어려움을 겪고 있습니다.
• 기존 도구들은 모듈성이 부족하여 새로운 연구 과제에 대해 공격 구성 요소를 조합하거나 커스터마이징하기 어려운 편입니다.
• 본 논문은 NLP에서 적대적 공격 개발을 통합하기 위해 민첩하고 조합 가능한 프레임워크를 소개함으로써 이를 해결하고자 합니다.
• TextAttack는 최소한의 코드로 어떤 모델이나 데이터셋에 대해서도 적대적 훈련과 데이터 증강에 접근할 수 있도록 하여 접근성을 높이고자 합니다.
• 공격 구성 요소를 표준화함으로써 연구자들이 모델의 강건성과 정확도를 쉽게 실험하고 향상시킬 수 있도록 합니다.

제안 방법

• TextAttack는 네 가지 모듈러한 구성 요소인 목표 함수, 제약 조건, 변환, 검색 방법으로 공격를 구성합니다.
• 각 구성 요소는 별도로 정의되어 있어 연구자들이 새로운 요소나 기존 요소를 자유롭게 조합하여 새로운 공격를 만들 수 있습니다.
• 변환은 의미를 유지하면서 입력 텍스트를 수정하며, 문법적 정확성 또는 의미 유사성과 같은 제약 조건에 따라 이끌립니다.
• 검색 방법은 목표 함수를 충족시키는 적대적 예제를 찾기 위해 가능한 변환의 공간을 탐색합니다.
• TextAttack는 최신 모델인 BERT와 GLUE 벤치마크의 모든 작업을 지원하여 종단 간 평가를 가능하게 합니다.
• 데이터 증강 및 적대적 훈련 모듈은 공격 구성 요소를 재사용하여 모델의 일반화 능력과 강건성을 향상시킵니다.

실험 결과

연구 질문

• RQ1 어떻게 NLP에서의 적대적 공격를 구성 요소 기반으로 모듈화하여 구성 요소의 재사용과 조합을 가능하게 할 수 있을까요?
• RQ2 TextAttack를 사용한 적대적 훈련과 데이터 증강이 모델의 정확도와 강건성에 어떤 영향을 미칠까요?
• RQ3 TextAttack는 문헌에 기록된 기존의 적대적 공격를 얼마나 효과적으로 재현하거나 확장할 수 있을까요?
• RQ4 이 프레임워크는 다양한 NLP 과제와 아키텍처에서 모델 성능 향상에 사용될 수 있을까요?
• RQ5 TextAttack의 모듈러한 설계는 적대적 NLP 방법을 탐색하는 연구자들이 접근하는 데 있어 장벽을 낮출 수 있을까요?

주요 결과

• TextAttack는 모듈러한 구성 요소 아키텍처를 통해 문헌에 기록된 16개의 적대적 공격를 성공적으로 구현했습니다.
• 연구자들은 몇 줄의 코드로 어떤 모델이나 데이터셋에 대해서도 데이터 증강과 적대적 훈련을 적용할 수 있습니다.
• TextAttack는 변환 및 검색 방법과 같은 공격 구성 요소를 다양한 모델 간에 재사용하고 조합할 수 있도록 합니다.
• 프레임워크는 모든 GLUE 작업에서 종단 간 평가를 지원하여 현재의 NLP 벤치마크와 넓은 호환성을 보입니다.
• 적대적 훈련과 데이터 증강을 통합함으로써 TextAttack는 플러그 앤 플레이 방식으로 모델의 강건성과 정확도를 향상시킵니다.
• TextAttack의 설계는 깊이 있는 구현 오버헤드 없이도 연구자들이 적대적 NLP 기법을 실험해 볼 수 있도록 접근 장벽을 낮춥니다.