[論文レビュー] Toward Adversarial Training on Contextualized Language Representation

Hongqiu Wu, Yongxiang Liu+3 more|arXiv (Cornell University)|May 8, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、文脈的表現を直接標的とすることで、BERTエンコーダーの文脈的表現から逸脱するように敵対的攻撃を明示的に最適化する、Contextualized representation-Adversarial Training (CreAT) を提案する。この手法により、多様な自然言語処理（NLP）タスクにおいてより強固で一貫性のある性能向上が達成される。CreATは、AdvGLUE (61.1)、HellaSWAG (94.9)、ANLI (69.3) といったベンチマークで最先端の結果を達成し、特にエンコーダー全体に影響を与えるように敵対的攻撃を強化することで、標準的な敵対的訓練よりも優れた性能を発揮する。

ABSTRACT

Beyond the success story of adversarial training (AT) in the recent text domain on top of pre-trained language models (PLMs), our empirical study showcases the inconsistent gains from AT on some tasks, e.g. commonsense reasoning, named entity recognition. This paper investigates AT from the perspective of the contextualized language representation outputted by PLM encoders. We find the current AT attacks lean to generate sub-optimal adversarial examples that can fool the decoder part but have a minor effect on the encoder. However, we find it necessary to effectively deviate the latter one to allow AT to gain. Based on the observation, we propose simple yet effective extit{Contextualized representation-Adversarial Training} (CreAT), in which the attack is explicitly optimized to deviate the contextualized representation of the encoder. It allows a global optimization of adversarial examples that can fool the entire model. We also find CreAT gives rise to a better direction to optimize the adversarial examples, to let them less sensitive to hyperparameters. Compared to AT, CreAT produces consistent performance gains on a wider range of tasks and is proven to be more effective for language pre-training where only the encoder part is kept for downstream tasks. We achieve the new state-of-the-art performances on a series of challenging benchmarks, e.g. AdvGLUE (59.1 $ ightarrow $ 61.1), HellaSWAG (93.0 $ ightarrow $ 94.9), ANLI (68.1 $ ightarrow $ 69.3).

研究の動機と目的

• 敵対的訓練（AT）が、特に共通認識推論と名前付きエンティティ抽出（NER）において、NLPタスク間で一貫性のない性能向上を示す理由を調査すること。
• 現在のAT手法が主にデコーダーをだますが、エンコーダーの文脈的表現には限定的な影響しか与えないことの特定。
• エンコーダーの文脈的表現を逸脱させるように、摂動を明示的に最適化する新たな敵対的訓練の枠組みを提案すること。
• 特にエンコーダーのみをファインチューニングする状況において、敵対的訓練の整合性と耐性を向上させること。
• より効果的でハイパーパrameterに安定した攻撃方向を用いて、挑戦的なNLPベンチマークで最先端の性能を達成すること。

提案手法

• CreATは、最終予測にのみ注目するのではなく、BERTエンコーダーが生成する文脈的表現の逸脱を直接最適化するように敵対的攻撃を変更する。
• 攻撃は、特に深層の層（10–12）の隠れ状態とアテンションマップに影響を与えるように定式化され、それらの影響を最大化する。
• Frobeniusノルム制約の下で、勾配ベースの最適化を用いて、文脈的表現の乖離を最大にする摂動を生成する。
• CreATはエンコーダーの表現空間を明示的に標的とすることで、敵対的例が分類器ヘッドだけでなく、モデル全体に影響を与えることを保証する。
• エンコーダーの重みを凍結したまま、デコーダーを再学習する標準のファインチューニングプロトコルを維持するため、言語事前学習に適している。
• 攻撃方向がより安定しており、グローバルに最適化されているため、ハイパーパrameterへの感受性が低く、収束性が向上する。

実験結果

リサーチクエスチョン

• RQ1 なぜ敵対的訓練は、共通認識推論や名前付きエンティティ認識において、異なるNLPタスク間で一貫性のない性能向上を示すのか？
• RQ2 現在の敵対的攻撃は、BERTエンコーダーの文脈的表現とデコーダーヘッドの両方にどの程度影響を与えるのか？
• RQ3 エンコーダーの文脈的表現を逸脱させるように、敵対的攻撃を明示的に最適化することは、より一貫性があり耐性のある性能向上をもたらすのか？
• RQ4 エンコーダー表現を標的にすることで、エンコーダーのみをファインチューニングする状況での敵対的訓練の有効性は向上するのか？
• RQ5 CreATの新しい攻撃方向は、標準的なATと比較して、ハイパーパrameter感受性にどの程度影響を与えるのか？

主な発見

• CreATは、AdvGLUEで61.1という新たな最先端の性能を達成し、標準的なATの59.1から向上した。
• HellaSWAGでは、94.9の正確度を達成し、標準的なATの93.0から顕著な向上を示した。
• ANLIでは、69.3の正確度を達成し、標準的なATの68.1から向上した。
• 可視化により、CreATは標準的なATと比較して、特に深層のBERT層（10–12）の隠れ状態とアテンションマップに顕著な逸脱を引き起こしていることが示された。
• 内側の上昇ステップ数やステップサイズといったハイパーパrameterへの感受性が低く、収束性と安定性に優れていることが示された。
• 効果的な敵対的訓練は、単にデコーダーではなく、エンコーダーの文脈的表現を逸脱させることにかかっていることが、この手法によって実証された。