[論文レビュー] TextAttack: A Framework for Adversarial Attacks in Natural Language Processing

John X. Morris, Eli Lifland+2 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 11被引用数 46

ひとこと要約

TextAttack は、一貫したコンponentベースの設計により、自然言語処理における adversarial attack、データ拡張、adversarial training を研究者が構築・適用・再利用できるモジュラーな Python フレームワークです。攻撃は目的関数、制約、変換、探索手法から構成され、16 件の攻撃をサポートし、BERT や GLUE ベンチマークとの統合を実現しており、モデルの頑健性や精度を向上させるための障壁を著しく低減しています。

ABSTRACT

While there has been substantial research using adversarial attacks to analyze NLP models, each attack is implemented in its own code repository. It remains challenging to develop NLP attacks and utilize them to improve model performance. This paper introduces TextAttack, a Python framework for adversarial attacks, data augmentation, and adversarial training in NLP. TextAttack builds attacks from four components: a goal function, a set of constraints, a transformation, and a search method. TextAttack's modular design enables researchers to easily construct attacks from combinations of novel and existing components. TextAttack provides implementations of 16 adversarial attacks from the literature and supports a variety of models and datasets, including BERT and other transformers, and all GLUE tasks. TextAttack also includes data augmentation and adversarial training modules for using components of adversarial attacks to improve model accuracy and robustness. TextAttack is democratizing NLP: anyone can try data augmentation and adversarial training on any model or dataset, with just a few lines of code. Code and tutorials are available at this https URL.

研究の動機と目的

• 研究者が NLP における adversarial attack を再利用または拡張することが難しいのは、実装が孤立したコードリポジトリに散らばっているためである。
• 既存のツールはモularity を欠いており、攻撃コンポonent を組み合わせたりカスタマイズしたりすることが、新しい研究課題において困難である。
• 本論文は、自然言語処理における adversarial attack 開発を統一し、柔軟で合成可能なフレームワークを導入することを目的としている。
• TextAttack は、最小限のコードで任意のモデルやデータセットに対して adversarial training やデータ拡張へのアクセスを民主化することを目的としている。
• 攻撃コンポonent の標準化により、研究者がモデルの頑健性や精度を簡単に実験・向上させることができる。

提案手法

• TextAttack は、4 つのモジュラーコンポonent である目的関数、制約、変換、探索手法から攻撃を構築する。
• 各コンポonent は独立して定義されており、研究者が新しい要素や既存の要素を自由に組み合わせて新しい攻撃を構築できる。
• 変換は、意味を保持したまま入力テキストを変更するもので、文法的正しさや意味的類似性などの制約に従う。
• 探索手法は、目的関数を満たす adversarial example を見つけるために、可能な変換の空間を探索する。
• TextAttack は、BERT や GLUE ベンチマークの全タスクを含む最新のモデルとの統合をサポートし、エンドツーエンドの評価を可能にしている。
• データ拡張および adversarial training モジュールは、攻撃コンポonent を再利用することで、モデルの汎化性能および頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 NLP における adversarial attack をどのようにモジュラー化すれば、コンポonent の再利用や組み合わせが可能になるか？
• RQ2 TextAttack を用いた adversarial training やデータ拡張が、モデルの精度および頑健性に与える影響は何か？
• RQ3 TextAttack は、文献に登場する既存の adversarial attack をどれほど正確に再現または拡張できるか？
• RQ4 このフレームワークは、多様な NLP タスクやアーキテクチャにおいてモデル性能を向上させることができるか？
• RQ5 TextAttack のモジュラー設計は、adversarial NLP メソッドを探索する研究者の入り口を低下させるか？

主な発見

• TextAttack は、モジュラーなコンポonent アーキテクチャを用いて、文献に登場する 16 件の adversarial attack を成功裏に実装した。
• 研究者は、わずか数行のコードで、任意のモデルやデータセットにデータ拡張および adversarial training を適用できる。
• TextAttack は、変換や探索手法などの攻撃コンポonent の再利用と組み合わせを、異なるモデル間で可能にしている。
• フレームワークは、GLUE の全タスクにおけるエンドツーエンド評価をサポートしており、現在の NLP ベンチマークと広範な互換性を持つことを示している。
• adversarial training およびデータ拡張を統合することで、TextAttack は、プラグアンドプレイの形でモデルの頑健性と精度を向上させる。
• TextAttack の設計により、実装のオーバーヘッドが大きくない状態で、研究者が adversarial NLP テクニックを簡単に実験できるようになる。