[論文レビュー] Towards Robustness Against Natural Language Word Substitutions

Xinshuai Dong, Anh Tuan Luu+2 more|arXiv (Cornell University)|Jul 28, 2021

Adversarial Robustness in Machine Learning参考文献 41被引用数 63

ひとこと要約

本論文は、語の置換攻撃空間を凸包としてモデル化する Adversarial Sparse Convex Combination (ASCC) を提案し、ASCC-defense を adversarial training と共に用いて、複数の NLP タスクとアーキテクチャに対する頑健性を向上させる。

ABSTRACT

Robustness against word substitutions has a well-defined and widely acceptable form, i.e., using semantically similar words as substitutions, and thus it is considered as a fundamental stepping-stone towards broader robustness in natural language processing. Previous defense methods capture word substitutions in vector space by using either $l_2$-ball or hyper-rectangle, which results in perturbation sets that are not inclusive enough or unnecessarily large, and thus impedes mimicry of worst cases for robust training. In this paper, we introduce a novel extit{Adversarial Sparse Convex Combination} (ASCC) method. We model the word substitution attack space as a convex hull and leverages a regularization term to enforce perturbation towards an actual substitution, thus aligning our modeling better with the discrete textual space. Based on the ASCC method, we further propose ASCC-defense, which leverages ASCC to generate worst-case perturbations and incorporates adversarial training towards robustness. Experiments show that ASCC-defense outperforms the current state-of-the-arts in terms of robustness on two prevailing NLP tasks, \emph{i.e.}, sentiment analysis and natural language inference, concerning several attacks across multiple model architectures. Besides, we also envision a new class of defense towards robustness in NLP, where our robustly trained word vectors can be plugged into a normally trained model and enforce its robustness without applying any other defense techniques.

研究の動機と目的

• NLP モデルにおいて意味と文法を保持する語の置換に対する頑健性を動機づける。
• 包括的でありながらコンパクトな摂動を捉えるため、置換空間を凸包としてモデル化する。
• 凸包内の敵対例を生成する ASCC を開発し、離散的なテキスト空間との整合を促進する。
• ASCC-Defense を提案し、ASCC 生成の摂動を用いた敵対的訓練によって頑健性を向上させる。
• 多様なデータセットとモデルアーキテクチャにおいて頑健性の改善を実証する。

提案手法

• 語の置換を、その置換ベクトルの凸包としてモデル化する。\n任意の敵対ベクトルを、置換ベクトルの凸結合として重み w_ij で表す。
• 勾配降下ベースの最適化を可能にするため、重み制約をソフトマックスのパラメータ化で緩和する。
• 離散的な置換とよりよく整合させるため、w_i にエントロピーベースの正則化を導入してスパース性を促進する。
• ASCC を、スパース正則化（エントロピー項）を用いた ASCC 摂動下での損失最大化として定義する。
• ASCC 摂動上での損失を最大化し、それを最小化して頑健なパラメータを得ることで、ASCC-Defense を敵対的訓練に組み込む。
• 頑健性のための外側最小化と内側最大化を解くために Adam を用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み空間で語の置換摂動を凸包で効果的に捉えることで、頑健性を向上させられるか。
• RQ2 凸結合重みのスパース性正則化は、実際の置換をより反映する摂動につながるか。
• RQ3 ASCC-defense は複数のアーキテクチャに渡って、一般的な NLP 攻撃（Genetic、PWWS）に対してより頑健なモデルを生み出すか。
• RQ4 ASCC-defense で学習したロバストな語ベクトルは、追加の防御なしの標準モデルへ頑健性を移行させるか。

主な発見

• ASCC-defense は、IMDB および SNLI のタスクと複数のアーキテクチャにおいて、最先端の防御法より一貫して頑健性を向上させる。
• IMDB の Genetic 攻撃下で、LSTM を用いた ASCC-defense は 79.0% の精度を達成し、従来の 75.0% を上回る。
• ASCC-defense は、攻撃（Genetic および PWWS）とアーキテクチャ（LSTM、CNN、BOW、DCOM）を跨って頑健性を示す。
• ASCC は、標準モデルの初期化に用いると追加の防御なしで頑健性を向上させる頑健な語ベクトルを提供する（例：Genetic 攻撃で ASCC-V を用いた LSTM の頑健性精度 73.4% 対 Glove の 7.9%）。
• スパース性正則化項は、摂動を実際の置換に近付け、摂動を離散的なテキスト空間と一致させる。