[论文解读] FreeLB: Enhanced Adversarial Training for Language Understanding

Chen Zhu, Yu Cheng+3 more|arXiv (Cornell University)|Sep 25, 2019

Topic Modeling参考文献 44被引用 4

一句话总结

FreeLB 是一种新颖的对抗性训练方法，通过在微调过程中直接对词嵌入应用对抗性扰动，提升了 BERT 和 RoBERTa 模型的鲁棒性和不变性。该方法增强了泛化能力，在 GLUE、CommonsenseQA 和 ARC 基准测试中取得最先进结果，包括 BERT 提升 1.1 个百分点，RoBERTa-large 提升 0.3 个百分点。

ABSTRACT

Adversarial training, which minimizes the maximal risk for label-preserving input perturbations, has proved to be effective for improving the generalization of language models. In this work, we propose a novel adversarial training algorithm - FreeLB, that promotes higher robustness and invariance in the embedding space, by adding adversarial perturbations to word embeddings and minimizing the resultant adversarial risk inside different regions around input samples. To validate the effectiveness of the proposed approach, we apply it to Transformer-based models for natural language understanding and commonsense reasoning tasks. Experiments on the GLUE benchmark show that when applied only to the finetuning stage, it is able to improve the overall test scores of BERT-based model from 78.3 to 79.4, and RoBERTa-large model from 88.5 to 88.8. In addition, the proposed approach achieves state-of-the-art test accuracies of 85.39\% and 67.32\% on ARC-Easy and ARC-Challenge. Experiments on CommonsenseQA benchmark further demonstrate that FreeLB can be generalized and boost the performance of RoBERTa-large model on other tasks as well.

研究动机与目标

• 在微调过程中提升预训练语言模型在嵌入空间中的鲁棒性和不变性。
• 解决标准对抗性训练通常聚焦于隐藏表示而非输入嵌入的局限性。
• 开发一种无需架构修改或额外训练数据即可增强泛化能力的方法。
• 在多样化的自然语言理解与常识推理任务中验证嵌入级对抗性训练的有效性。
• 在不修改模型架构的前提下，实现在 GLUE 和 ARC 等标准基准测试中的最先进性能。

提出的方法

• FreeLB 直接对词嵌入应用对抗性扰动，而非对隐藏状态或注意力层进行操作。
• 它在输入样本周围的多个区域最小化对抗风险，以提升嵌入空间中的鲁棒性。
• 该方法仅在微调阶段进行对抗性训练，不修改预训练过程。
• 它采用投影梯度下降（PGD）方法生成扰动，以最大化损失同时保持标签一致性。
• 对抗性扰动以保持语义和句法不变性的方式应用，从而提升模型泛化能力。
• 该方法兼容基于 Transformer 的模型（如 BERT 和 RoBERTa），且计算开销极低。

实验结果

研究问题

• RQ1 在输入嵌入层面应用的对抗性训练是否能提升自然语言理解任务中模型的鲁棒性和泛化能力？
• RQ2 在下游 NLU 任务的微调阶段，FreeLB 是否优于标准对抗性训练方法？
• RQ3 FreeLB 在 ARC-Easy 和 ARC-Challenge 等挑战性基准测试中的性能提升程度如何？
• RQ4 FreeLB 是否能跨不同架构和任务（如 CommonsenseQA）实现泛化，而不仅限于标准 GLUE 基准？
• RQ5 在不修改架构的前提下，嵌入级对抗性训练是否能带来可测量的测试准确率提升？

主要发现

• FreeLB 将基于 BERT 的模型在 GLUE 基准上的总体得分从 78.3 提升至 79.4，提升 1.1 个百分点。
• 它将 RoBERTa-large 模型在 GLUE 基准上的得分从 88.5 提升至 88.8，实现 0.3 个百分点的改进。
• 在 ARC-Easy 基准测试中，FreeLB 达到 85.39% 的最先进测试准确率。
• 在更具挑战性的 ARC-Challenge 数据集上，其准确率达到 67.32%，为当前最先进水平。
• 该方法在 CommonsenseQA 上也提升了性能，证明其泛化能力超越 GLUE 基准。
• 所有性能提升均仅通过在词嵌入上应用对抗性扰动进行微调实现，无需任何模型架构修改。