[論文レビュー] Adversarial Training for Large Neural Language Models

Xiaodong Liu, Hao Cheng+5 more|arXiv (Cornell University)|Apr 20, 2020

Adversarial Robustness in Machine Learning参考文献 59被引用数 91

ひとこと要約

本論文は、ALUMと名付けられた大規模ニューラル言語モデルの事前学習および微調整のための一般的対立的訓練アルゴリズムを導入し、RoBERTaを含むNLPタスク全体で一般化性能と頑健性の向上を示している。

ABSTRACT

Generalization and robustness are both key desiderata for designing machine learning methods. Adversarial training can enhance robustness, but past work often finds it hurts generalization. In natural language processing (NLP), pre-training large neural language models such as BERT have demonstrated impressive gain in generalization for a variety of tasks, with further improvement from adversarial fine-tuning. However, these models are still vulnerable to adversarial attacks. In this paper, we show that adversarial pre-training can improve both generalization and robustness. We propose a general algorithm ALUM (Adversarial training for large neural LangUage Models), which regularizes the training objective by applying perturbations in the embedding space that maximizes the adversarial loss. We present the first comprehensive study of adversarial training in all stages, including pre-training from scratch, continual pre-training on a well-trained model, and task-specific fine-tuning. ALUM obtains substantial gains over BERT on a wide range of NLP tasks, in both regular and adversarial scenarios. Even for models that have been well trained on extremely large text corpora, such as RoBERTa, ALUM can still produce significant gains from continual pre-training, whereas conventional non-adversarial methods can not. ALUM can be further combined with task-specific fine-tuning to attain additional gains. The ALUM code is publicly available at https://github.com/namisan/mt-dnn.

研究の動機と目的

• NLPでうまく一般化し、敵対的攻撃に耐えるモデルの必要性を動機づける。
• 事前学習と微調整の両方に適用可能な統一的な敵対的訓練フレームワーク（ALUM）を提案する。
• 広範なNLPタスクとデータセットにわたってALUMを評価する。
• 敵対的事前学習が強力なベースライン（例：BERT、RoBERTa）を上回る利得を生み、敵対的微調整と組み合わせられることを示す。

提案手法

• 埋め込み空間の摂動を採用して敵対的損失を最大化する（仮想敵対訓練）。
• 埋め込み近傍でのラベル滑らかさを制御する敵対項で学習目的を正則化する（alphaパラメータ）。
• カリキュラムアプローチを用いる：まず標準訓練を行い、次に敵対的訓練（ALUM）を継続する。
• 効率のために小さな内部ループ（K=1）で摂動を推定する。
• BERTやRoBERTaなどのトランスフォーマーベースのモデルに対して、ゼロからの事前学習、継続的事前学習、タスク特化型微調整にALUMを適用する。
• 敵対的でないベースラインに対する顕著な利得と、タスク特化型微調整との適合性を示す結果を提供する。

Figure 1: Comparison of the standard and adversarial pre-training on the MNLI development set.

実験結果

リサーチクエスチョン

• RQ1 敵対的事前学習は標準的なNLPベンチマークで一般化を改善するか？
• RQ2 敵対的事前学習は敵対的または挑戦的な評価データセットに対する頑健性も改善するか？
• RQ3 すでによく訓練されたモデル（例：RoBERTa）を継続的な事前学習でさらに利得を得られるか？
• RQ4 タスク横断で敵対的事前学習と敵対的微調整を組み合わせる効果はどのようなものか？

主な発見

• ALUMを用いた敵対的事前学習は、幅広いNLPタスクにおいて一般化と頑健性の両方を向上させる。
• ALUMはSQuADとMNLIでBERTより利得を生み、RoBERTaのような大規模コーパスで訓練されたモデルでさえ標準ベースラインを上回る。
• RoBERTaに対して、標準的な継続的事前学習では得られない利得をALUMの継続的事前学習が提供する。
• ALUMはANLI、Adversarial SQuAD、HELLASWAGなどの敵対的ベンチマークで頑健性を向上させ、しばしば強力なベースラインを上回る。
• 敵対的事前学習と敵対的微調整を組み合わせると、いくつかのタスクで最良の結果（例：MNLI、ANLI、SciTail、SWAG、HELLASWAG）を得られる。
• このアプローチはゼロからの事前学習、継続的事前学習、タスク特化型微調整のいずれにも適用可能で、BERTとRoBERTaで実証されている。

(a) Results on MNLI