[论文解读] High Quality ELMo Embeddings for Seven Less-Resourced Languages

Matej Ulčar, Marko Robnik‐Šikonja|arXiv (Cornell University)|Nov 22, 2019

Topic Modeling参考文献 14被引用 13

一句话总结

本论文为七种资源较少、词形丰富的欧洲语言（克罗地亚语、爱沙尼亚语、芬兰语、拉脱维亚语、立陶宛语、斯洛文尼亚语和瑞典语）提供了高质量、预先计算的 ELMo 上下文嵌入，其训练语料库规模大于以往公开的模型。作者证明，更大的训练数据显著提升了嵌入质量，在类比和命名实体识别（NER）任务上，相较于非上下文的 fastText 嵌入以及现有的 ELMoForManyLangs（EFML）模型，均取得了显著提升。

ABSTRACT

Recent results show that deep neural networks using contextual embeddings significantly outperform non-contextual embeddings on a majority of text classification task. We offer precomputed embeddings from popular contextual ELMo model for seven languages: Croatian, Estonian, Finnish, Latvian, Lithuanian, Slovenian, and Swedish. We demonstrate that the quality of embeddings strongly depends on the size of training set and show that existing publicly available ELMo embeddings for listed languages shall be improved. We train new ELMo embeddings on much larger training sets and show their advantage over baseline non-contextual FastText embeddings. In evaluation, we use two benchmarks, the analogy task and the NER task.

研究动机与目标

• 为七种资源较少、词形丰富的欧洲语言提升上下文词嵌入质量，这些语言的自然语言处理资源有限。
• 解决现有公开 ELMo 嵌入的局限性，即其在较小语料库上训练，导致性能欠佳。
• 通过标准化基准评估训练数据规模对嵌入质量的影响。
• 提供公开可获取的高质量 ELMo 嵌入，以支持低资源环境下的下游自然语言处理任务。
• 在类比和 NER 任务上，将新嵌入与非上下文的 fastText 嵌入以及现有的 ELMoForManyLangs（EFML）模型进行比较。

提出的方法

• 使用三层架构训练 ELMo 模型：字符级卷积神经网络（CNN）后接两层双向长短期记忆网络（biLM），上下文表示通过各层输出的加权平均获得。
• 为每种目标语言使用更大的单语文本语料库，以提升嵌入质量，缓解低资源环境下的数据稀缺问题。
• 对原始文本进行分词、句子分割和子词归一化处理，以确保跨语言的鲁棒性与一致性。
• 利用训练好的模型在完整语料库上生成 ELMo 嵌入，词汇表构建聚焦于高频词，以提高效率。
• 使用两个标准基准评估嵌入性能：词类比和命名实体识别（NER），报告宏平均 F1 分数。
• 通过使用相同的下游神经网络架构和每种模型五个随机种子，与非上下文的 fastText 嵌入和 ELMoForManyLangs（EFML）模型进行性能比较，以确保统计可靠性。

实验结果

研究问题

• RQ1 增加训练语料库规模是否能显著提升资源较少语言的 ELMo 嵌入质量？
• RQ2 新训练的 ELMo 嵌入在下游 NLP 任务（如 NER 和词类比）上与非上下文的 fastText 嵌入相比表现如何？
• RQ3 新 ELMo 嵌入在不同语言和任务上与现有 ELMoForManyLangs（EFML）模型相比表现如何？
• RQ4 数据集规模或标签密度与 NER 任务中 ELMo 嵌入性能提升之间是否存在可测量的相关性？
• RQ5 在词形丰富、资源较少的语言中，上下文嵌入相较于非上下文嵌入在多大程度上缓解了多义性问题？

主要发现

• 在所有七种语言中，EMBEDDIA ELMo 嵌入在类比和 NER 任务上均显著优于非上下文的 fastText 嵌入。
• 在 NER 任务中，EMBEDDIA ELMo 模型在克罗地亚语上取得 0.82 的宏平均 F1 分数，爱沙尼亚语为 0.91，芬兰语为 0.92，拉脱维亚语为 0.83，立陶宛语为 0.74，斯洛文尼亚语为 0.85，瑞典语为 0.88，均超过 fastText 和 EFML 基线。
• 在词类比任务中，EMBEDDIA ELMo 嵌入相较于 EFML 嵌入有显著提升，尤其在克罗地亚语和芬兰语中表现更优，表明其语义捕捉能力更强。
• EMBEDDIA ELMo 相较于 fastText 的性能提升在基线表现较差的语言中尤为显著，例如立陶宛语（fastText 的 F1 为 0.44，EMBEDDIA 为 0.74）。
• 在 NER 任务中，未发现数据集规模或标签密度与性能提升之间存在显著相关性，表明数据规模是关键因素，但并非决定性唯一因素。
• 尽管 EFML 之前被视作这些语言的最先进模型，EMBEDDIA ELMo 在多个语言（如克罗地亚语、芬兰语、瑞典语）的 NER 任务中仍表现更优。