[论文解读] On the comparability of Pre-trained Language Models

Matthias Aßenmacher, Christian Heumann|arXiv (Cornell University)|Jan 3, 2020

Topic Modeling参考文献 41被引用 11

一句话总结

本文对2018–2019年期间最先进的预训练语言模型进行了全面的比较分析，重点关注架构创新、训练资源和迁移学习整合。文章倡导采用标准化报告实践，以提升可复现性与公平基准测试，提出切实可行、可操作的指南，以增强模型开发和评估指标的透明度。

ABSTRACT

Recent developments in unsupervised representation learning have successfully established the concept of transfer learning in NLP. Mainly three forces are driving the improvements in this area of research: More elaborated architectures are making better use of contextual information. Instead of simply plugging in static pre-trained representations, these are learned based on surrounding context in end-to-end trainable models with more intelligently designed language modelling objectives. Along with this, larger corpora are used as resources for pre-training large language models in a self-supervised fashion which are afterwards fine-tuned on supervised tasks. Advances in parallel computing as well as in cloud computing, made it possible to train these models with growing capacities in the same or even in shorter time than previously established models. These three developments agglomerate in new state-of-the-art (SOTA) results being revealed in a higher and higher frequency. It is not always obvious where these improvements originate from, as it is not possible to completely disentangle the contributions of the three driving forces. We set ourselves to providing a clear and concise overview on several large pre-trained language models, which achieved SOTA results in the last two years, with respect to their use of new architectures and resources. We want to clarify for the reader where the differences between the models are and we furthermore attempt to gain some insight into the single contributions of lexical/computational improvements as well as of architectural changes. We explicitly do not intend to quantify these contributions, but rather see our work as an overview in order to identify potential starting points for benchmark comparisons. Furthermore, we tentatively want to point at potential possibilities for improvement in the field of open-sourcing and reproducible research.

研究动机与目标

• 阐明主要预训练语言模型（如 BERT、GPT、RoBERTa）在架构、训练数据和迁移学习整合方面的关键差异。
• 识别架构改进、模型规模和计算资源对性能提升的相对贡献，但不进行量化。
• 解决自然语言处理研究中报告标准不一致的问题，特别是关于计算成本、超参数调优和资源使用情况的报告。
• 通过提出一个切实可行的框架，推动可复现性和开放科学，实现自然语言处理社区内标准化的模型报告。
• 强调广泛超参数调优和大规模模型训练的环境与实际影响，呼吁在报告开发资源时保持透明。

提出的方法

• 通过结构化表格系统比较12种预训练语言模型（如 Word2Vec、FastText、ULMFiT、ELMo、GPT、BERT、GPT2、XLNet、RoBERTa、ALBERT）的架构与训练特性。
• 根据上下文性（单向与双向）、训练范式（仅嵌入与端到端可训练）以及架构类型（LSTM、Transformer 等）对模型进行分类。
• 提出一个报告框架，对每个报告维度（如模型架构、参数数量、超参数、训练时间）评估其可行性、当前实现程度和对可复现性的相关性。
• 强调报告词汇资源（如训练语料库大小、可用性）和计算成本（GPU 时间、能耗）的重要性，以支持环境与实际考量。
• 采用 OpenAI 博客的 GPU 时间估算方法，作为精确 FLOP 计数的实用、易访问的替代方案，用于比较不同模型的训练工作量。
• 主张明确定义并一致使用“未调优”模型，以实现公平的基准比较，并减少超参数调优影响的干扰。

实验结果

研究问题

• RQ1 2018–2019年期间主流预训练语言模型在架构和资源方面存在哪些关键差异？
• RQ2 与模型规模和预训练数据集大小相比，架构创新（如 Transformer、双向注意力机制）在性能提升中的贡献程度如何？
• RQ3 为何当性能提升由模型规模、计算资源和超参数调优等因素重叠驱动时，难以对模型进行公平比较？
• RQ4 标准化报告实践如何提升自然语言处理研究中的可复现性与透明度？
• RQ5 广泛超参数调优和大规模模型训练对预训练语言模型的环境与实际影响是什么？

主要发现

• 在自然语言处理论文中，缺乏对模型开发细节（如训练时间、超参数调优、计算资源）报告的一致标准。
• 尽管模型架构和参数数量广泛报告，但调优方法、调优时间及实验运行时间的细节经常被省略，损害了可复现性。
• 词汇资源（如预训练语料库）的可用性和描述经常缺失，尽管它们在模型性能和可复现性中起着关键作用。
• 本文指出亟需一个全球公认的报告框架，特别是针对“未调优”模型性能和计算成本的报告，以实现公平的基准比较。
• 报告训练时间和计算资源在技术上可行且与可复现性高度相关，但目前在已发表的研究中几乎完全缺失。
• 作者提出一种实用的分层报告标准，平衡可行性与影响力，认为“模型架构”、“参数数量”和“调优模型的基准性能”是关键且可行的报告内容。