[论文解读] Give your Text Representation Models some Love: the Case for Basque

Rodrigo Agerri, Iñaki San Vicente+5 more|arXiv (Cornell University)|Mar 31, 2020

Natural Language Processing Techniques参考文献 22被引用 9

一句话总结

本论文表明，在更大、更高质量的巴斯克语语料库上训练单语文本表示模型——FastText、Flair 和 BERT——在下游 NLP 任务中的表现显著优于现有的多语种模型。作者在主题分类、情感分析、词性标注和命名实体识别四项任务中均取得了当前最优结果，其中单语 BERTeus 模型相比多语 BERT 的性能最高提升了 10 个百分点。

ABSTRACT

Word embeddings and pre-trained language models allow to build rich representations of text and have enabled improvements across most NLP tasks. Unfortunately they are very expensive to train, and many small companies and research groups tend to use models that have been pre-trained and made available by third parties, rather than building their own. This is suboptimal as, for many languages, the models have been trained on smaller (or lower quality) corpora. In addition, monolingual pre-trained models for non-English languages are not always available. At best, models for those languages are included in multilingual versions, where each language shares the quota of substrings and parameters with the rest of the languages. This is particularly true for smaller languages such as Basque. In this paper we show that a number of monolingual models (FastText word embeddings, FLAIR and BERT language models) trained with larger Basque corpora produce much better results than publicly available versions in downstream NLP tasks, including topic classification, sentiment classification, PoS tagging and NER. This work sets a new state-of-the-art in those tasks for Basque. All benchmarks and models used in this work are publicly available.

研究动机与目标

• 通过在更大、更高质量的语料库上训练单语模型，解决现有预训练模型在低资源语言（如巴斯克语）中表现不佳的问题。
• 探究在专用、大规模巴斯克语语料库上从零开始训练语言模型，是否相比使用公开的多语种模型能提升性能。
• 通过在 2.26 亿词的巴斯克媒体语料库上训练并评估 FastText、Flair 和 BERT 模型，为巴斯克语 NLP 建立新的 SOTA 标准。
• 证明语料质量与规模，以及语言特定的子词分词，是低资源语言（如巴斯克语）模型性能的关键因素。
• 公开发布所有模型与基准测试集，以支持可复现性及未来在巴斯克语 NLP 领域的研究。

提出的方法

• 收集并整理了巴斯克媒体语料库（BMC），该语料库包含 2.26 亿词，由巴斯克语维基百科和多家新闻媒体的报道组成。
• 使用标准预训练流程，在 BMC 上训练了单语 FastText 词向量、Flair 语言模型以及一个 BERT 模型（命名为 BERTeus）。
• 采用语言特定的子词分词方法，以提升可解释性与性能，尤其适用于形态丰富的巴斯克语。
• 在四项下游任务（主题分类、情感分类、词性标注和命名实体识别）上，将模型性能与公开的多语模型（如 mBERT）进行直接对比。
• 采用标准评估协议与指标（如 F1、准确率），确保模型间比较的公平性。
• 通过 Hugging Face 和 IXA NLP 团队的公开存储库发布所有模型与基准测试集，以支持可复现性与再利用。

实验结果

研究问题

• RQ1 在更大、更高质量的巴斯克语语料库上训练单语文本表示模型，是否能显著提升相对于现有公开多语模型的性能？
• RQ2 在 2.26 亿词巴斯克语语料库上训练的单语 BERT 模型（BERTeus）在下游 NLP 任务中的表现，与多语 BERT 模型（mBERT）相比如何？
• RQ3 语料规模与质量，以及语言特定的子词分词，在低资源语言（如巴斯克语）中对模型性能提升的贡献程度如何？
• RQ4 在特定领域语料库（如新闻文章）上训练的单语模型，是否能在命名实体识别和情感分类等任务中超越通用多语模型？
• RQ5 使用专用、高质量语料库是否能更好地实现语言现象（如转喻）的消歧，例如在命名实体识别任务中？

主要发现

• 单语 BERTeus 模型在所有四项下游任务中，F1 分数相比官方多语 BERT 最高提升了 10 个百分点。
• 在巴斯克媒体语料库上训练的 FastText 和 Flair 模型，在主题分类、情感分类、词性标注和命名实体识别任务中，性能均持续优于其公开版本。
• BERTeus 模型能正确将转喻性实体（如 'United States' 和 'Western Europe'）分类为 ORGANIZATION，而 mBERT 则错误地将其分类为 LOCATION，表明其具备更优的消歧能力。
• BERTeus 中的语言特定子词分词产生了更具可解释性与语言学意义的子词（如 'Mediku' 表示 'doctor'，'aren' 表示所有格 's'），而 mBERT 的分词则更短且可解释性较差。
• 性能提升主要归因于更大、更高质量的训练语料库以及单语训练设置，而非网络架构的改变。
• 所有模型与基准测试集均已公开发布于 http://ixa2.si.ehu.es/text-representation-models/basque，支持可复现性及未来在巴斯克语 NLP 领域的研究。