[论文解读] UER: An Open-Source Toolkit for Pre-training Models

Zhe Zhao, Hui Chen+8 more|arXiv (Cornell University)|Sep 12, 2019

Topic Modeling参考文献 22被引用 5

一句话总结

UER 是一个开源的、模块化的 PyTorch 工具包，通过组合可互换的组件——编码器、目标函数和微调策略——实现多样化自然语言处理模型的预训练，支持高效实现当前最先进模型。它利用其公开的模型库中预训练的模型，在下游任务上实现了具有竞争力或最先进（SOTA）的性能，包括与 BERT 相当或更优准确率的高效替代方案。

ABSTRACT

Existing works, including ELMO and BERT, have revealed the importance of pre-training for NLP tasks. While there does not exist a single pre-training model that works best in all cases, it is of necessity to develop a framework that is able to deploy various pre-training models efficiently. For this purpose, we propose an assemble-on-demand pre-training toolkit, namely Universal Encoder Representations (UER). UER is loosely coupled, and encapsulated with rich modules. By assembling modules on demand, users can either reproduce a state-of-the-art pre-training model or develop a pre-training model that remains unexplored. With UER, we have built a model zoo, which contains pre-trained models based on different corpora, encoders, and targets (objectives). With proper pre-trained models, we could achieve new state-of-the-art results on a range of downstream datasets.

研究动机与目标

• 解决在不同自然语言处理任务和硬件约束下，缺乏灵活且可扩展的框架来开发和部署多样化预训练模型的问题。
• 使研究人员和实践者能够按需组合模块化组件（编码器、目标函数、微调策略）来构建自定义的预训练模型。
• 构建并维护一个公开可访问的模型库，其中包含基于不同语料、编码器和目标函数的预训练模型，供下游任务即用。
• 证明通过选择特定任务的预训练目标函数和编码器，即使使用更轻量级的模型架构（如 2 层 LSTM），也能显著提升模型性能。
• 提供一个高性能、支持分布式训练的工具包，支持可复现性和可扩展性，适用于科研和工业应用。

提出的方法

• UER 采用松耦合的框架结构，包含四个核心组件：子编码器、编码器、预训练目标和下游微调策略，每个组件均提供多种即插即用的模块。
• 该工具包支持模块化组合——用户可自由混合和匹配不同的编码器（如 BERT 风格的 Transformer、LSTM）、目标函数（如 MLM、NSP、CLS、语言建模）和微调方法。
• 在大规模、领域特定的语料库（如亚马逊评论、维基百科、BookCorpus）上使用 PyTorch 进行预训练，支持分布式训练。
• 框架提供清晰、接口最小化的 API，便于新模块的集成，支持现有模型（如 BERT）的复现和新型架构的开发。
• 使用 UER 构建了模型库，其中包含采用不同编码器、目标函数和语料的预训练模型，所有模型均通过 GitHub 公开获取。
• 评估包括可复现性检查（与 HuggingFace 和 ERNIE 基线匹配）以及在下游任务上的消融研究，以评估编码器和目标函数选择的影响。

实验结果

研究问题

• RQ1 一个模块化、开源的工具包是否能够在不牺牲性能的前提下，实现多样化预训练模型的高效且灵活的实现？
• RQ2 在情感分析等句子级分类任务中，使用替代性预训练目标函数（如 CLS 替代 NSP）能在多大程度上提升性能？
• RQ3 当在领域特定语料库上使用优化目标函数进行预训练时，轻量级编码器（如 2 层 LSTM）是否能实现与 BERT 相当或更优的性能？
• RQ4 基于语料、编码器和目标函数的模型选择，如何影响在多样化自然语言处理任务上的下游性能？
• RQ5 像 UER 这样的统一工具包是否能够在资源受限环境下同时支持最先进性能和高训练效率？

主要发现

• UER 在基准数据集上成功复现了 BERT 和 ERNIE 的性能，结果与 HuggingFace 和 ERNIE 实现相当或更优。
• 在领域特定语料库（如亚马逊评论）上进行预训练，相比在维基百科上预训练的 BERT-base 中文模型，在情感分析任务上的性能显著提升。
• 在句子级评论任务中，使用基于 CLS 的目标函数优于仅使用 MLM 或基于 NSP 的目标函数，在 Chnsenticorp 数据集上达到 95.8% 的准确率。
• 使用 2 层 LSTM 编码器并在亚马逊评论上进行预训练，在 Chnsenticorp 数据集上达到 94.5% 的准确率，优于 BERT-base 中文基线（94.3%），证明了效率与性能可以共存。
• 使用 UER 构建的模型库使用户能够为特定下游任务选择最优的预训练模型，从而持续优于通用预训练模型。
• UER 支持分布式训练，并通过记录的脚本实现完全可复现性，使研究人员能够以最小的设置开销复现结果。