[論文レビュー] Fast Gradient Projection Method for Text Adversary Generation and Adversarial Training

Xiaosen Wang, Yichen Yang+2 more|arXiv (Cornell University)|Aug 9, 2020

Adversarial Robustness in Machine Learning参考文献 9被引用数 2

ひとこと要約

本稿では、文書の同義語置換に基づく敵対的攻撃であるFast Gradient Projection Method (FGPM) を提案する。この手法は、従来手法と比較して約20倍高速でありながら、同等の攻撃成功率を維持する。FGPMを敵対的訓練に統合することで、モデルの頑健性を向上させるとともに敵対的転送性を低減するATFL—という防御手法を開発した。

ABSTRACT

Adversarial training is the most empirically successful approach in improving the robustness of deep neural networks for image classification.For text classification, however, existing synonym substitution based adversarial attacks are effective but not efficient to be incorporated into practical text adversarial training. Gradient-based attacks, which are very efficient for images, are hard to be implemented for synonym substitution based text attacks due to the lexical, grammatical and semantic constraints and the discrete text input space. Thereby, we propose a fast text adversarial attack method called Fast Gradient Projection Method (FGPM) based on synonym substitution, which is about 20 times faster than existing text attack methods and could achieve similar attack performance. We then incorporate FGPM with adversarial training and propose a text defense method called Adversarial Training with FGPM enhanced by Logit pairing (ATFL). Experiments show that ATFL could significantly improve the model robustness and block the transferability of adversarial examples.

研究の動機と目的

• 既存の同義語置換ベースの敵対的攻撃がテキスト敵対的訓練において非効率であるという問題に取り組む。
• 離散的テキスト空間における語彙的・文法的・意味的制約を尊重する勾配ベースの手法を開発する。
• テキスト分類モデルにおける高速かつ効果的な敵対的訓練を実現する。
• 異なるモデル間での敵対的例の転送性を低減する。

提案手法

• 語彙的・文法的・意味的制約を尊重しながら、同義語置換を実行する勾配ベースの攻撃であるFast Gradient Projection Method (FGPM) を提案する。
• 各単語の置換が文法的正しさと意味的類似性を保つように、射影ステップを用いる。
• モデル最適化中に敵対的例を生成するために、FGPMを敵対的訓練に統合する。
• 学習の安定化と頑健性の向上を図るために、ログィットペアリングを敵対的訓練に統合する。
• 従来手法と比較して収束を高速化するための高速反復最適化スキームを採用する。
• モデルの損失関数からの勾配情報を活用し、離散的テキスト空間における効率的な単語置換をガイドする。

実験結果

リサーチクエスチョン

• RQ1 語彙的および文法的制約を満たす離散的テキスト入力空間に、勾配ベースの手法を効率的に適応できるか？
• RQ2 FGPMは、既存の同義語置換ベースのテキスト攻撃手法と比較して、速度と攻撃成功率でどのように異なるか？
• RQ3 FGPMを敵対的訓練に統合することで、モデルの頑健性がどの程度向上するか？
• RQ4 提案されたATFL防御は、異なるモデル間での敵対的例の転送性を低減するか？

主な発見

• FGPMは、既存の同義語置換ベースの手法と比較して、およそ20倍高速な攻撃生成を達成した。
• FGPMは、最先端のテキスト敵対的攻撃手法と同等の攻撃パフォーマンスを維持した。
• 提案されたATFL防御は、ベンチマークテキスト分類データセット上で、モデルの頑健性を顕著に向上させた。
• ATFLは、異なるモデル間での敵対的例の転送性を効果的に低減した。