[论文解读] EstBERT: A Pretrained Language-Specific BERT for Estonian

Hasan Tanvir, Claudia Kittask+2 more|arXiv (Cornell University)|Nov 9, 2020

Topic Modeling参考文献 19被引用 5

一句话总结

本文介绍了EstBERT，一个在12亿词的爱沙尼亚语语料库上预训练的大型语言特定BERT模型，其在七项NLP任务中的五项上达到了最先进性能，超越了多语言BERT模型和仅基于维基百科的爱沙尼亚语BERT变体。结果表明，即使在存在多语言模型的情况下，使用更大、更多样化的语料库训练语言特定模型，也能显著提升泛化能力和任务性能。

ABSTRACT

This paper presents EstBERT, a large pretrained transformer-based language-specific BERT model for Estonian. Recent work has evaluated multilingual BERT models on Estonian tasks and found them to outperform the baselines. Still, based on existing studies on other languages, a language-specific BERT model is expected to improve over the multilingual ones. We first describe the EstBERT pretraining process and then present the results of the models based on finetuned EstBERT for multiple NLP tasks, including POS and morphological tagging, named entity recognition and text classification. The evaluation results show that the models based on EstBERT outperform multilingual BERT models on five tasks out of six, providing further evidence towards a view that training language-specific BERT models are still useful, even when multilingual models are available.

研究动机与目标

• 开发一个高性能的、针对爱沙尼亚语的专用BERT模型，以在多语言模型之外提升NLP任务性能。
• 探究在更大、更多样化的语料库上训练语言特定BERT模型是否能带来比在较小或代表性不足的数据上训练的模型更好的泛化能力。
• 在多个下游NLP任务上，将EstBERT的性能与现有的多语言BERT模型（如XLM-RoBERTa）和较小的爱沙尼亚语专用模型（WikiBERT）进行比较。
• 评估预训练数据规模和多样性对低资源环境下模型泛化能力和鲁棒性的影响。
• 为NLP研究社区提供一个公开可用的、高质量的爱沙尼亚语BERT模型。

提出的方法

• 使用掩码语言建模目标，在爱沙尼亚国家语料库2017版（一个包含新闻、网络和维基百科文本的12亿词语料库）上预训练EstBERT。
• 应用了广泛的文本预处理，包括移除HTML/XML标签、通过检测库进行语言过滤、通过哈希去重，以及使用truecasing以减少词汇量。
• 使用Hugging Face Transformers库实现并发布该模型，使下游任务的微调更加简便。
• 在七个下游NLP任务上微调EstBERT：词性标注和词形标注、依存句法分析、命名实体识别（NER）以及文本分类。
• 与多语言BERT模型（如XLM-RoBERTa）和仅在维基百科数据上训练的较小爱沙尼亚语WikiBERT模型进行性能比较。
• 使用标准BERT微调流程，结合任务特定的分类头，并为每个任务优化超参数。

实验结果

研究问题

• RQ1 在大型、多样的爱沙尼亚语语料库上训练语言特定BERT模型，是否能在爱沙尼亚语NLP任务上实现优于多语言BERT模型的性能？
• RQ2 EstBERT在多个NLP任务上的泛化能力和性能表现，与仅基于维基百科的较小爱沙尼亚语BERT模型（WikiBERT）相比如何？
• RQ3 对于爱沙尼亚语等低资源语言，语言特定预训练带来的改进在多大程度上超过多语言预训练的优势？
• RQ4 在更广泛语料库上训练的更大、语言特定模型，是否能在爱沙尼亚语基准测试中超越表现最佳的多语言模型？
• RQ5 数据规模和多样性对低资源语言预训练语言模型的鲁棒性和泛化能力有何影响？

主要发现

• EstBERT在七项下游NLP任务中的五项上表现优于多语言BERT模型，包括词性标注、词形标注、依存句法分析、命名实体识别和文本分类。
• 在命名实体识别任务中，EstBERT的F1分数高于XLM-RoBERTa，尽管差异较小，可能由于数据集中存在噪声标注。
• EstBERT在七项任务中的六项上显著优于爱沙尼亚语WikiBERT模型，证明了更大、更多样化预训练数据的积极影响。
• EstBERT与多语言模型之间的性能差距在需要深层句法或词形理解的任务中最为显著，如依存句法分析和词形标注。
• 尽管XLM-RoBERTa在爱沙尼亚语任务上表现强劲，EstBERT的结果表明，若用更多爱沙尼亚语数据微调多语言RoBERTa模型，可能进一步提升性能。
• 本研究提供了实证证据，表明即使在多语言模型盛行的时代，语言特定预训练依然具有价值，尤其是在拥有充足高质量单语数据时。