[论文解读] ALBETO and DistilBETO: Lightweight Spanish Language Models

José Cañete, Sebastián Donoso+3 more|arXiv (Cornell University)|Apr 19, 2022

Natural Language Processing Techniques被引用 10

一句话总结

本文提出了 ALBETO 和 DistilBETO，这两种是基于 ALBERT 和 DistilBERT 架构的轻量级西班牙语语言模型，仅在西班牙语语料上进行预训练。尽管参数量显著减少——最多减少22倍——ALBETO tiny 的性能达到 BETO 的87%，而 ALBETO base 仅使用9倍少的参数便达到97%的性能，且在 MLQA、XQuAD 和 XNLI 等多个 GLUE 基准任务上超越了 BETO。

ABSTRACT

In recent years there have been considerable advances in pre-trained language models, where non-English language versions have also been made available. Due to their increasing use, many lightweight versions of these models (with reduced parameters) have also been released to speed up training and inference times. However, versions of these lighter models (e.g., ALBERT, DistilBERT) for languages other than English are still scarce. In this paper we present ALBETO and DistilBETO, which are versions of ALBERT and DistilBERT pre-trained exclusively on Spanish corpora. We train several versions of ALBETO ranging from 5M to 223M parameters and one of DistilBETO with 67M parameters. We evaluate our models in the GLUES benchmark that includes various natural language understanding tasks in Spanish. The results show that our lightweight models achieve competitive results to those of BETO (Spanish-BERT) despite having fewer parameters. More specifically, our larger ALBETO model outperforms all other models on the MLDoc, PAWS-X, XNLI, MLQA, SQAC and XQuAD datasets. However, BETO remains unbeaten for POS and NER. As a further contribution, all models are publicly available to the community for future research.

研究动机与目标

• 为解决西班牙语高效轻量级语言模型稀缺的问题，创建比现有大型模型（如 BETO）更小、更快的替代方案。
• 提升在低资源和实时应用场景（如移动设备和网络服务）中，西班牙语先进 NLP 模型的可访问性。
• 评估这些模型在文本分类、问答和命名实体识别等多种 NLP 任务中的性能表现。
• 公开发布可微调的模型和代码，以支持西班牙语 NLP 领域更广泛的研究与开发。

提出的方法

• 使用 ALBERT 架构预训练 ALBETO 变体（tiny、base、large、xlarge、xxlarge），通过参数共享减少参数量。
• 使用知识蒸馏训练 DistilBETO，将 BETO 模型压缩为更小、更快的版本，同时保持性能。
• 使用大规模单语西班牙语语料进行所有预训练，确保语言特异性优化。
• 在 GLUE 基准的多个西班牙语 NLP 任务上微调所有模型，包括 MLDoc、PAWS-X、XNLI、MLQA、SQAC 和 XQuAD。
• 使用标准指标（如 F1、精确匹配和准确率）在所有任务上评估性能。
• 通过 Hugging Face 和 GitHub 发布所有模型及微调代码，确保社区可访问性和可复现性。

实验结果

研究问题

• RQ1 轻量级 ALBERT 和 DistilBERT 变体是否能在显著减少参数量的前提下，实现与 BETO 在西班牙语 NLP 任务上的竞争性性能？
• RQ2 模型效率（参数数量）与在西班牙语问答和自然语言推理等下游任务上的性能之间是否存在相关性？
• RQ3 由于大小写敏感性，BETO cased 在 POS 和 NER 等任务上是否仍保持性能优势，而轻量级模型的表现如何？
• RQ4 在将 BETO 压缩为更轻量级模型时，知识蒸馏和参数共享策略在多大程度上能保持性能？
• RQ5 这些轻量级模型在低资源或推理资源受限环境中是否可作为 BETO 的可行替代方案？

主要发现

• ALBETO tiny 在 GLUE 基准上的性能达到 BETO 的87%，但参数量仅为后者的22倍少。
• ALBETO base 仅使用超过9倍少的参数，便达到 BETO 97%的性能。
• ALBETO xxlarge 在 MLQA（F1 高出2.5个百分点）、SQAC（F1 高出2.8个百分点）和 XQuAD（F1 高出2.3个百分点）上表现优于 BETO cased。
• 在 XNLI 任务上，ALBETO xxlarge 的 F1 得分为 82.42，比 BETO cased 高出 0.5 分。
• 在 POS 和 NER 任务上，BETO cased 仍优于所有轻量级模型，尤其因大小写敏感性，但 ALBETO 模型表现依然出色。
• DistilBETO 和所有 ALBETO 变体均已公开发布，附带微调权重和训练代码，支持广泛社区使用。