[論文レビュー] TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP

John X. Morris, Eli Lifland+4 more|arXiv (Cornell University)|Apr 29, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用数 60

ひとこと要約

TextAttack は、4 つのモジュール構成の攻撃を組み合わせ、モデル間およびデータセット間のベンチマークを可能にする NLP 敵対的攻撃・データ拡張・敵対的学習を統一する Python フレームワークです。

ABSTRACT

While there has been substantial research using adversarial attacks to analyze NLP models, each attack is implemented in its own code repository. It remains challenging to develop NLP attacks and utilize them to improve model performance. This paper introduces TextAttack, a Python framework for adversarial attacks, data augmentation, and adversarial training in NLP. TextAttack builds attacks from four components: a goal function, a set of constraints, a transformation, and a search method. TextAttack's modular design enables researchers to easily construct attacks from combinations of novel and existing components. TextAttack provides implementations of 16 adversarial attacks from the literature and supports a variety of models and datasets, including BERT and other transformers, and all GLUE tasks. TextAttack also includes data augmentation and adversarial training modules for using components of adversarial attacks to improve model accuracy and robustness. TextAttack is democratizing NLP: anyone can try data augmentation and adversarial training on any model or dataset, with just a few lines of code. Code and tutorials are available at https://github.com/QData/TextAttack.

研究の動機と目的

• 敵対的攻撃を標準化することによって、NLPモデルの堅牢な評価を促進する。
• データセットとモデルを横断して攻撃手法の再現性と比較を容易にする敷居を下げる。
• 新しい手法のために攻撃コンポーネントを再利用できる統一プラットフォームを提供する。
• 精度と頑健性を向上させるためのデータ拡張と敵対的学習を可能にする。

提案手法

• 4 つのモジュール型コンポーネント（目標関数、制約、変換、探索手法）による攻撃構築。
• 文献に実装された 16 個の敵対的攻撃を再利用可能な攻撃レシピとしてサポート。
• HuggingFace のトランスフォーマーと NLP データセットと統合し、モデルやタスクを横断した簡易テストを実現。
• モデルの頑健性を高めるためのデータ拡張および敵対的学習パイプラインを含む。
• 迅速な実験のためのコマンドラインと Python API を提供（例: textattack attack, textattack train）。

実験結果

リサーチクエスチョン

• RQ1 NLP の敵対的攻撃をどのように標準化し、モデルやデータセット間でベンチマークすることができるか？
• RQ2 既存のコンポーネントを再利用して新しい攻撃の迅速な構築をモジュール型フレームワークは促進できるか？
• RQ3 NLP タスク全般においてデータ拡張と敵対的学習がモデルの頑健性に与える影響はどの程度か？
• RQ4 分類/含意以外のモデル（翻訳、要約、GLUE タスクなど）に対して、攻撃レシピをどれくらい広く適用できるか？

主な発見

• TextAttack は 16 件の文献攻撃を再利用可能なレシピとして実装している。
• LSTM、CNN、BERT、RoBERTa など幅広いモデルと、すべての GLUE タスクを含む NLP タスクをサポートしている。
• このフレームワークはデータ拡張と敵対的学習を可能にし、頑健性を向上させる。
• 攻撃コンポーネントは既存の攻撃を最小コードで再現または拡張できるように設計されている。
• HuggingFace ライブラリとの統合を含む使いやすさを強調し、一般的なタスクを 5 行未満のコードで実行できると主張している。