[论文解读] Downstream Datasets Make Surprisingly Good Pretraining Corpora

K. Siva Krishna, Saurabh Garg+2 more|arXiv (Cornell University)|Sep 28, 2022

Natural Language Processing Techniques被引用 7

一句话总结

本文提出自监督预训练——即直接在下游任务数据上使用标准自监督目标（如掩码语言建模）对变换器模型进行预训练——并证明该方法在性能上可与在大规模上游语料（如BookWiki）上进行的标准预训练相媲美甚至超越。令人惊讶的是，自监督预训练模型在问答和常识推理等任务上实现了50–80%的性能提升，甚至在10个数据集中的7个上超过了现成模型，表明预训练的收益主要源于预训练目标本身，而非外部数据。

ABSTRACT

For most natural language processing tasks, the dominant practice is to finetune large pretrained transformer models (e.g., BERT) using smaller downstream datasets. Despite the success of this approach, it remains unclear to what extent these gains are attributable to the massive background corpora employed for pretraining versus to the pretraining objectives themselves. This paper introduces a large-scale study of self-pretraining, where the same (downstream) training data is used for both pretraining and finetuning. In experiments addressing both ELECTRA and RoBERTa models and 10 distinct downstream classification datasets, we observe that self-pretraining rivals standard pretraining on the BookWiki corpus (despite using around $10 imes$--$500 imes$ less data), outperforming the latter on $7$ and $5$ datasets, respectively. Surprisingly, these task-specific pretrained models often perform well on other tasks, including the GLUE benchmark. Besides classification tasks, self-pretraining also provides benefits on structured output prediction tasks such as span based question answering and commonsense inference, often providing more than $50\%$ of the performance boosts provided by pretraining on the BookWiki corpus. Our results hint that in many scenarios, performance gains attributable to pretraining are driven primarily by the pretraining objective itself and are not always attributable to the use of external pretraining data in massive amounts. These findings are especially relevant in light of concerns about intellectual property and offensive content in web-scale pretraining data.

研究动机与目标

• 探究预训练带来的性能提升主要源于预训练目标，还是上游语料的规模或内容。
• 评估仅使用下游数据集是否可作为有效预训练语料，当与标准自监督目标结合时。
• 在多种自然语言处理任务中，对比自监督预训练（在下游数据上预训练）与标准预训练（在大规模上游语料上预训练）的性能表现。
• 评估自监督预训练模型在其他下游任务（包括GLUE和结构化预测任务）上的泛化能力。
• 探讨自监督预训练在减少预训练数据中暴露有害内容方面的潜在影响。

提出的方法

• 作者使用自监督预训练对ELECTRA和RoBERTa模型进行微调，其中用于微调的下游数据集同样用于预训练。
• 在下游数据上进行预训练时，应用标准的自监督目标，如掩码语言建模（MLM）和替换词元检测（RTD）。
• 在10个多样化的下游分类数据集上评估性能，包括SQuAD、SWAG、HellaSwag和CONLL-2012 NER。
• 研究比较了三种训练策略：随机初始化（RI）、自监督预训练（SP）和在BookWiki上的现成预训练（OS）。
• 对于每个模型和数据集，报告F1分数及相对于随机初始化的F1提升。
• 分析自监督预训练模型与现成模型之间的错误相关性，以评估不同预训练策略是否产生互补的预测。

实验结果

研究问题

• RQ1 NLP中的性能提升在多大程度上源于预训练目标，而非上游语料的规模或内容？
• RQ2 仅使用下游数据集是否可作为有效预训练语料，达到或超过大规模上游语料的性能表现？
• RQ3 在多种自然语言处理任务中，自监督预训练与标准预训练相比，下游性能如何？
• RQ4 自监督预训练模型是否能良好泛化到其他下游任务，包括其预训练领域之外的任务？
• RQ5 自监督预训练在减少预训练数据中暴露有害或偏见内容方面有何影响？

主要发现

• 在使用ELECTRA-small时，自监督预训练在10个分类数据集中的7个上优于在BookWiki上进行的标准预训练；使用RoBERTa-base时，优于5个数据集。
• 在问答任务（SQuAD）中，自监督预训练使用ELECTRA-small获得78.47%的F1分数，超过现成模型的75.96% F1。
• 在SWAG和HellaSwag等结构化预测任务中，自监督预训练相比随机初始化实现了70–80%的性能提升，RoBERTa-base在这些任务中实现了40–80%的收益。
• 自监督预训练模型的错误显著低于现成模型，表明其学习了不同的归纳偏置。
• 在某一下游数据集上预训练的模型通常能良好泛化到其他数据集，在88%的情况下实现了超过现成模型性能提升50%的效果。
• 自监督预训练避免了在大规模网络语料中可能暴露的有害内容，同时仍能带来显著的性能提升。