[论文解读] MC-BERT: Efficient Language Pre-Training via a Meta Controller

Zhenhui Xu, Linyuan Gong+6 more|arXiv (Cornell University)|Jun 10, 2020

Topic Modeling参考文献 18被引用 11

一句话总结

MC-BERT 提出了一种元控制器框架，将语言预训练转化为带有拒绝选项的多选完形填空任务，降低了任务复杂度，同时保持了语义丰富性。在相同计算预算下，其在语义 GLUE 任务上达到了最先进性能，相较于 BERT 和 ELECTRA 在语义理解的效率和效果上均更优。

ABSTRACT

Pre-trained contextual representations (e.g., BERT) have become the foundation to achieve state-of-the-art results on many NLP tasks. However, large-scale pre-training is computationally expensive. ELECTRA, an early attempt to accelerate pre-training, trains a discriminative model that predicts whether each input token was replaced by a generator. Our studies reveal that ELECTRA's success is mainly due to its reduced complexity of the pre-training task: the binary classification (replaced token detection) is more efficient to learn than the generation task (masked language modeling). However, such a simplified task is less semantically informative. To achieve better efficiency and effectiveness, we propose a novel meta-learning framework, MC-BERT. The pre-training task is a multi-choice cloze test with a reject option, where a meta controller network provides training input and candidates. Results over GLUE natural language understanding benchmark demonstrate that our proposed method is both efficient and effective: it outperforms baselines on GLUE semantic tasks given the same computational budget.

研究动机与目标

• 为解决大规模语言模型预训练带来的高计算成本问题。
• 在不牺牲语义表征质量的前提下提升训练效率。
• 探究简化后的预训练任务是否能在语义理解任务中保持或提升模型性能。
• 探索元学习在控制预训练复杂度和提升样本效率中的作用。

提出的方法

• 元控制器通过从生成器中替换部分标记为合理替代项，生成被破坏的输入句子。
• 对于每个被破坏的标记，模型构建一个 k 选 1 的多选选项集，包含一个“以上皆非”的拒绝选项。
• 生成器执行 k 类分类，从候选项中选择正确标记，将任务从词汇表规模的预测简化为可管理的分类问题。
• 元控制器与生成器联合优化，通过超参数 λ 平衡两者的学习。
• 该框架端到端训练，生成器利用元控制器提供的候选集学习纠正被破坏的标记。
• 该方法在固定计算预算下基于 GLUE 基准进行评估，以比较效率与效果。

实验结果

研究问题

• RQ1 是否可通过降低复杂度的简化预训练任务，在不降低语义性能的前提下提升训练效率？
• RQ2 与掩码语言建模和被替换标记检测相比，带有拒绝选项的多选完形填空任务在学习效率和语义质量方面表现如何？
• RQ3 超参数 k（候选数量）和 λ（元控制器与生成器训练之间的权衡）对模型性能有何影响？
• RQ4 基于元控制器的方法是否在语义理解任务中优于 ELECTRA 等判别式框架？

主要发现

• 在相同计算预算下，MC-BERT 在全部八个语义 GLUE 任务上均优于 RoBERTa 和 ELECTRA，展现出更优的效率与效果。
• 在 CoLA 句法任务上，ELECTRA 表现优于 MC-BERT，证实 ELECTRA 的被替换标记检测任务与句法可接受性更契合。
• 在所有 FLOP 水平下，MC-BERT 在 RTE 和 MRPC 任务上的性能均优于 ELECTRA 和 RoBERTa，学习曲线显示其收敛更快且泛化能力更强。
• k=10 候选集的模型性能略优于 k=100，表明更小的候选集更有效且更不易过拟合。
• 较大的 λ（更偏向生成器训练）导致性能下降，表明元控制器训练不足会损害整体性能。
• MC-BERT 在平均 GLUE 分数上与 ELECTRA 竞争力相当，在语义任务中取得显著提升，仅在单一句法任务中略有损失。