[论文解读] EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing

Chengyu Wang, Minghui Qiu+8 more|arXiv (Cornell University)|Apr 30, 2022

Advanced Data Processing Techniques被引用 5

一句话总结

EasyNLP 是一个全面且用户友好的 NLP 工具包，通过集成知识增强的预训练、基于对比提示调优的 few-shot 学习以及知识蒸馏，实现了大规模预训练模型（PTMs）的高效开发与部署。它在 zero-shot probing 任务上达到最先进性能，在工业应用中仅使用少量数据即可将下游准确率提升高达 5%，并具备极高的推理效率。

ABSTRACT

The success of Pre-Trained Models (PTMs) has reshaped the development of Natural Language Processing (NLP). Yet, it is not easy to obtain high-performing models and deploy them online for industrial practitioners. To bridge this gap, EasyNLP is designed to make it easy to build NLP applications, which supports a comprehensive suite of NLP algorithms. It further features knowledge-enhanced pre-training, knowledge distillation and few-shot learning functionalities for large-scale PTMs, and provides a unified framework of model training, inference and deployment for real-world applications. Currently, EasyNLP has powered over ten business units within Alibaba Group and is seamlessly integrated to the Platform of AI (PAI) products on Alibaba Cloud. The source code of our EasyNLP toolkit is released at GitHub (https://github.com/alibaba/EasyNLP).

研究动机与目标

• 解决由于高计算成本、数据稀缺以及世界知识有限，导致大规模预训练模型（PTMs）在工业环境中部署困难的问题。
• 使实践者能够通过 few-shot 学习与知识蒸馏技术，轻松微调并部署 PTMs。
• 通过一种新颖的预训练框架，将知识库中的事实知识整合到 PTM 中，以提升模型性能。
• 通过与阿里云 PAI 平台的集成，提供从模型训练到线上部署的端到端无缝流程。

提出的方法

• 提出 DKPLM，一种知识增强的预训练框架，将知识注入与特定任务学习解耦，从而提升事实理解能力。
• 采用对比提示调优（CP-Tuning），一种 few-shot 学习方法，利用对比学习自动优化 verbalizer 设计，减少人工干预。
• 通过 MetaKD 支持知识蒸馏，即在一个多领域数据上训练单一元教师模型，将知识蒸馏到不同领域的小型学生模型中。
• 提供统一的 API 堆栈，包括 ModelZoo、AppZoo 和 DataHub，实现模型管理、数据集加载与应用构建的便捷化。
• 与 Hugging Face Transformers 及阿里云 PAI 生态系统（如 PAI-DSW、PAI-EAS）集成，支持可扩展的训练与线上推理。
• 通过极简代码支持使用自定义知识库进行领域特定 PTM 预训练，实现工业规模的部署。

实验结果

研究问题

• RQ1 如何有效利用外部世界知识增强预训练语言模型，以减少常识推理错误？
• RQ2 当仅有少量标注样本时，最有效的大型 PTM few-shot 微调方法是什么？
• RQ3 对比学习能否在无需人工设计的情况下，提升基于提示的微调中 verbalizer 的自动构建效果？
• RQ4 如何在多个领域中优化知识蒸馏，以生成紧凑且高性能的学生模型？
• RQ5 统一工具包在多大程度上可以简化工业环境中从训练到线上部署的整个 NLP 管道？

主要发现

• DKPLM 在 zero-shot 知识探针任务（LAMA 与 LAMA-UHN）上达到最先进性能，平均优于强基线模型 1.57%。
• 医疗领域专用的 DKPLM 模型在命名实体识别任务中准确率提升超过 3%，相比标准 BERT。
• CP-Tuning 在所有 few-shot 分类任务中均实现一致的性能提升，优于 PET、LM-BFF 与 P-Tuning。
• 在仅使用少量数据的客服应用中，CP-Tuning 将实体与属性抽取准确率分别提升 2% 和 5%。
• MetaKD 将 BERT-base 模型压缩为 BERT-tiny（14.5M 参数），性能保持不变，推理速度提升 7.2 倍，且在 AliMe 聊天机器人中仅损失 1% 准确率。
• FewCLUE 基准测试显示，EasyNLP 的 few-shot 工具包在所有评估方法中表现最佳。