[论文解读] "A Passage to India": Pre-trained Word Embeddings for Indian Languages

Saurav Kumar, Saunack Kumar+2 more|arXiv (Cornell University)|Dec 27, 2021

Topic Modeling参考文献 25被引用 24

一句话总结

本文介绍了一个涵盖14种印度语言的436个预训练词嵌入的综合性资源库，包含单语（FastText、Word2Vec、GloVe）、上下文相关（ELMo、BERT、XLM）以及跨语言（MUSE、XLM）模型。该研究通过整理并基于多样化、扩展的语料库训练模型，解决了印度语言高质量、大规模单语及多语语料稀缺的问题，评估结果表明FastText在POS和NER任务上优于其他非上下文相关模型。

ABSTRACT

Dense word vectors or 'word embeddings' which encode semantic properties of words, have now become integral to NLP tasks like Machine Translation (MT), Question Answering (QA), Word Sense Disambiguation (WSD), and Information Retrieval (IR). In this paper, we use various existing approaches to create multiple word embeddings for 14 Indian languages. We place these embeddings for all these languages, viz., Assamese, Bengali, Gujarati, Hindi, Kannada, Konkani, Malayalam, Marathi, Nepali, Odiya, Punjabi, Sanskrit, Tamil, and Telugu in a single repository. Relatively newer approaches that emphasize catering to context (BERT, ELMo, etc.) have shown significant improvements, but require a large amount of resources to generate usable models. We release pre-trained embeddings generated using both contextual and non-contextual approaches. We also use MUSE and XLM to train cross-lingual embeddings for all pairs of the aforementioned languages. To show the efficacy of our embeddings, we evaluate our embedding models on XPOS, UPOS and NER tasks for all these languages. We release a total of 436 models using 8 different approaches. We hope they are useful for the resource-constrained Indian language NLP. The title of this paper refers to the famous novel 'A Passage to India' by E.M. Forster, published initially in 1924.

研究动机与目标

• 为解决印度语言高质量、大规模单语及多语语料稀缺的问题，该问题阻碍了有效NLP模型的训练。
• 创建一个统一的、公开可访问的14种印度官方语言预训练词嵌入资源库，以支持低资源NLP研究。
• 在POS标注、XPOS、UPOS和NER等标准NLP任务上，评估多样化嵌入技术（非上下文相关、上下文相关及跨语言）的性能。
• 通过在标准维基百科数据集之外的扩展、筛选后的语料库上训练模型，推动印度语言NLP的最先进水平。
• 通过提供迁移学习、微调及跨语言迁移的基础，为未来研究提供支持。

提出的方法

• 收集并整理了14种印度语言的单语语料，包括维基媒体数据集及其他补充来源，以应对数据稀缺问题。
• 使用FastText、Word2Vec（Skip-gram与CBOW）以及GloVe训练了384个非上下文相关嵌入，嵌入维度为50、100、200和300。
• 使用ELMo、14个BERT模型以及1个多语言XLM模型生成14个上下文相关嵌入，所有模型均在包含全部14种语言的联合多语言语料库上进行训练。
• 使用MUSE和XLM生成182个跨语言嵌入，将所有语言对映射到共享向量空间。
• 对数据进行字节对编码（BPE）预处理，以适配基于Transformer的模型，并采用原始实现中的标准超参数。
• 使用标准化数据集在XPOS、UPOS和NER任务上评估模型性能，性能指标为F1分数和困惑度。

实验结果

研究问题

• RQ1 在印度语言的POS和NER任务中，非上下文相关词嵌入（FastText、Word2Vec、GloVe）的性能如何比较？
• RQ2 与非上下文相关模型相比，上下文相关嵌入（ELMo、BERT、XLM）在印度语言下游NLP任务上的性能提升程度如何？
• RQ3 跨语言嵌入（MUSE、XLM）在具有不同语言特征和语料规模的印度语言之间实现迁移学习的有效性如何？
• RQ4 语料规模和语言多样性对低资源印度语言预训练嵌入质量有何影响？
• RQ5 尽管语料规模相似，为何泰米尔语和泰卢固语在嵌入评估中表现差异显著？这揭示了哪些语言特异性因素？

主要发现

• FastText在XPOS和UPOS标注任务上的表现优于GloVe和Word2Vec，表明子词信息对词形丰富的印度语言至关重要。
• 尽管语料规模相似，泰卢固语嵌入在所有评估任务中均持续优于泰米尔语嵌入，表明语言结构或数据质量差异可能超出规模影响。
• 多语言XLM模型在掩码语言建模任务中达到31.8%的准确率，下一句预测任务准确率为67.9%，证明了在印度语言上进行多语言预训练的可行性。
• ELMo模型的困惑度低于非上下文相关模型，证实其在建模上下文方面更具优势，尽管不同语言间性能存在差异。
• 该资源库包含436种不同模型，包括384个非上下文相关模型、14个ELMo模型、14个BERT模型、1个XLM模型以及182个跨语言模型，所有模型均已公开发布供研究使用。
• 评估结果表明，模型质量并非仅由语料规模决定，泰米尔语与泰卢固语在语料量相近的情况下仍存在显著性能差距，凸显了其他影响因素的存在。