[論文レビュー] FreeLB: Enhanced Adversarial Training for Language Understanding

Chen Zhu, Yu Cheng+3 more|arXiv (Cornell University)|Sep 25, 2019

Topic Modeling参考文献 44被引用数 4

ひとこと要約

FreeLB は、微調整中に単語埋め込みに直接 adversarial パーティクルを適用することにより、BERT や RoBERTa モデルにおける頑健性と不変性を向上させる、新しい adversarial 訓練手法である。一般化性能が向上し、GLUE、CommonsenseQA、ARC ベンチマークで最先端の結果を達成しており、BERT では 1.1 ポints の向上、RoBERTa-large では 0.3 ポイントの向上を記録した。

ABSTRACT

Adversarial training, which minimizes the maximal risk for label-preserving input perturbations, has proved to be effective for improving the generalization of language models. In this work, we propose a novel adversarial training algorithm - FreeLB, that promotes higher robustness and invariance in the embedding space, by adding adversarial perturbations to word embeddings and minimizing the resultant adversarial risk inside different regions around input samples. To validate the effectiveness of the proposed approach, we apply it to Transformer-based models for natural language understanding and commonsense reasoning tasks. Experiments on the GLUE benchmark show that when applied only to the finetuning stage, it is able to improve the overall test scores of BERT-based model from 78.3 to 79.4, and RoBERTa-large model from 88.5 to 88.8. In addition, the proposed approach achieves state-of-the-art test accuracies of 85.39\% and 67.32\% on ARC-Easy and ARC-Challenge. Experiments on CommonsenseQA benchmark further demonstrate that FreeLB can be generalized and boost the performance of RoBERTa-large model on other tasks as well.

研究の動機と目的

• 微調整中に埋め込み空間における事前学習済み言語モデルの頑健性と不変性を向上させること。
• 標準的な adversarial 訓練がしばしば隠れ表現に焦点を当てるのに対し、入力埋め込みに焦点を当てるという制限を克服すること。
• アーキテクチャの変更や追加の訓練データを必要とせずに一般化性能を向上させる手法を開発すること。
• 多様な NLU および共通認識推論タスクにおいて、埋め込みレベルでの adversarial 訓練の有効性を検証すること。
• モデルアーキテクチャを変更せずに、GLUE や ARC といった標準ベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• FreeLB は、隠れ状態やアテンション層ではなく、単語埋め込みに直接 adversarial パーティクルを適用する。
• 入力サンプルの周囲の複数の領域において adversarial リスクを最小化することで、埋め込み空間における頑健性を促進する。
• pre-training プロセスを変更せずに、微調整フェーズでのみ adversarial 訓練を実行する。
• 損失を最大化しつつラベルの一貫性を保つように、投影勾配降下法（PGD）を用いてパラメータを生成する。
• 意味的・構文的不変性を維持する形で adversarial パーティクルを適用することで、モデルの一般化性能を向上させる。
• Transformer をベースとするモデル（BERT や RoBERTa など）と互換性があり、計算コストの増加を最小限に抑えて適用可能である。

実験結果

リサーチクエスチョン

• RQ1 入力埋め込みレベルに適用された adversarial 訓練は、自然言語理解におけるモデルの頑健性と一般化性能を向上させることができるか？
• RQ2 FreeLB は、下流の NLU タスクにおける微調整時に標準的な adversarial 訓練手法を上回る性能を示すか？
• RQ3 FreeLB は、ARC-Easy や ARC-Challenge のような難易度の高いベンチマークでの性能向上にどの程度寄与するか？
• RQ4 FreeLB は、GLUE ベンチマークにとどまらず、CommonsenseQA など、異なるアーキテクチャやタスクにも一般化可能か？
• RQ5 埋め込みレベルでの adversarial 訓練は、アーキテクチャの変更なしにテスト精度の明確な向上をもたらすか？

主な発見

• FreeLB は、BERT ベースのモデルの全体的な GLUE スコアを 78.3 から 79.4 に向上させ、1.1 ポイントの向上を達成した。
• RoBERTa-large モデルの GLUE スコアは 88.5 から 88.8 に上昇し、0.3 ポイントの改善が得られた。
• ARC-Easy ベンチマークでは、85.39% の最先端のテスト精度を達成した。
• より困難な ARC-Challenge セットでは、67.32% の最先端の精度を達成した。
• CommonsenseQA においても性能向上が確認され、GLUE ベンチマークを越えた一般化能力が示された。
• モデルアーキテクチャの変更なしに、単に adversarial パーティクルを単語埋め込みに適用する微調整のみで、上記の向上が達成された。