[论文解读] BERTino: an Italian DistilBERT model

Matteo Muffo, Enrico Bertino|arXiv (Cornell University)|Mar 31, 2023

Natural Language Processing Techniques被引用 5

一句话总结

BERTino 是一种轻量级、基于蒸馏的 BERT 模型，在大规模意大利语语料库上微调，其在意大利语 NLP 任务中的性能与完整 BERT 和 GilBERTo 相当，同时将微调和推理时间减少了近 50%。它通过知识蒸馏实现这一目标，使其非常适合在资源受限的意大利语 NLP 应用中部署。

ABSTRACT

The recent introduction of Transformers language representation models allowed great improvements in many natural language processing (NLP) tasks. However, if on one hand the performances achieved by this kind of architectures are surprising, on the other their usability is limited by the high number of parameters which constitute their network, resulting in high computational and memory demands. In this work we present BERTino, a DistilBERT model which proposes to be the first lightweight alternative to the BERT architecture specific for the Italian language. We evaluated BERTino on the Italian ISDT, Italian ParTUT, Italian WikiNER and multiclass classification tasks, obtaining F1 scores comparable to those obtained by a BERTBASE with a remarkable improvement in training and inference speed.

研究动机与目标

• 开发一种专为意大利语设计的轻量级、高效 BERT 替代方案。
• 在不显著降低意大利语 NLP 任务性能的前提下，减少 BERT 的计算和内存需求。
• 利用知识蒸馏技术，将大型教师模型的知识迁移至更小、更快的模型架构中。
• 在包括 POS 标注、命名实体识别（NER）和多类句子分类在内的多样化意大利语 NLP 基准上评估该模型。
• 为意大利语处理提供一个公开可用、通用领域且高效的 NLP 解决方案。

提出的方法

• 使用知识蒸馏微调 DistilBERT 架构，将大型 BERT_base 模型的知识迁移至小模型。
• 在大规模通用领域意大利语文本语料库上对 BERTino 进行预训练，采用掩码语言建模、蒸馏损失和余弦相似度损失。
• 在 4 块 Tesla K80 GPU 上训练 3 个周期，批量大小为 6，初始初始学习率为 5×10⁻⁴。
• 在所有下游任务中使用相同的超参数（批量大小 32，初始学习率 5×10⁻⁵）进行微调。
• 使用 Hugging Face Transformers 库构建模型训练和推理流水线。
• 在 ISDT、ParTUT、WikiNER 和一个包含 139 个类别的新型多类意图检测数据集上评估性能。

实验结果

研究问题

• RQ1 蒸馏后的 BERT 模型是否能在显著降低计算成本的同时，实现与现有模型相当的意大利语 NLP 任务性能？
• RQ2 在意大利语 POS 标注任务中，BERTino 与教师模型及 GilBERTo 相比，F1 分数和推理速度如何？
• RQ3 在减少 BERT 参数量以适配意大利语时，知识蒸馏在多大程度上保持了模型性能？
• RQ4 像 BERTino 这样的轻量级模型是否能在包括 NER 和多类句子分类在内的多样化意大利语 NLP 任务中表现出良好的泛化能力？
• RQ5 在意大利语特定基准上，仅在单语意大利语语料库上训练的小型模型是否优于多语言 BERT 变体？

主要发现

• 在意大利语 ISDT 任务中，BERTino 的 F1 得分为 0.9800，略低于教师模型的 0.9829，但微调速度提高了 43%，评估速度提高了 50%。
• 在意大利语 ParTUT POS 标注任务中，BERTino 的 F1 得分为 0.9193，优于 GilBERTo（0.9621），并达到与教师模型相当的性能，同时训练时间显著缩短。
• 在意大利语 WikiNER 任务中，BERTino 的 F1 得分为 0.9039，优于 GilBERTo（0.9136），并接近教师模型的 0.9176，同时将微调时间减少了 43%。
• 在多类句子分类任务中，BERTino 的 F1 得分为 0.7766，优于 GilBERTo（0.7381），且相比教师模型将微调时间减少了 43%。
• 在所有任务中，BERTino 将微调时间减少了近 50%，评估时间最多减少了 50%，展现出显著的效率优势。
• 该模型在多样化任务中的表现表明，知识蒸馏能有效保留小型、快速架构在意大利语 NLP 中的语言理解能力。