[论文解读] Cross-Lingual Word Embeddings for Turkic Languages

Elmurod Kuriyozov, Yerai Doval+1 more|arXiv (Cornell University)|May 17, 2020

Natural Language Processing Techniques被引用 10

一句话总结

本论文首次对五种低资源突厥语（土耳其语、乌兹别克语、阿塞拜疆语、哈萨克语和吉尔吉斯语）的跨语言词嵌入进行了全面研究，采用单语 fastText 嵌入和最先进的对齐技术（MUSE、VecMap、Meemi）。研究结果表明，通过资源丰富且语系相关的语言（土耳其语）对这些嵌入进行对齐，显著提升了双语词典归纳和情感分析任务的性能，其中 Meemi 在 VecMap 上的表现最佳，证明了在词形丰富的低资源语言中，通过相关高资源语言实现跨语言知识迁移具有显著优势。

ABSTRACT

There has been an increasing interest in learning cross-lingual word embeddings to transfer knowledge obtained from a resource-rich language, such as English, to lower-resource languages for which annotated data is scarce, such as Turkish, Russian, and many others. In this paper, we present the first viability study of established techniques to align monolingual embedding spaces for Turkish, Uzbek, Azeri, Kazakh and Kyrgyz, members of the Turkic family which is heavily affected by the low-resource constraint. Those techniques are known to require little explicit supervision, mainly in the form of bilingual dictionaries, hence being easily adaptable to different domains, including low-resource ones. We obtain new bilingual dictionaries and new word embeddings for these languages and show the steps for obtaining cross-lingual word embeddings using state-of-the-art techniques. Then, we evaluate the results using the bilingual dictionary induction task. Our experiments confirm that the obtained bilingual dictionaries outperform previously-available ones, and that word embeddings from a low-resource language can benefit from resource-rich closely-related languages when they are aligned together. Furthermore, evaluation on an extrinsic task (Sentiment analysis on Uzbek) proves that monolingual word embeddings can, although slightly, benefit from cross-lingual alignments.

研究动机与目标

• 为解决低资源突厥语（包括乌兹别克语、阿塞拜疆语、哈萨克语和吉尔吉斯语）自然语言处理资源匮乏的问题。
• 评估在真实低资源环境下，跨语言词嵌入对齐技术的可行性。
• 利用网络爬取和机器翻译数据，改进突厥语的单语词嵌入和双语词典。
• 评估是否通过相关且资源丰富的语言（土耳其语）进行跨语言对齐，能够提升内在和外在自然语言处理任务的性能。
• 发布新的、高质量的双语词典和单语词嵌入，以供突厥语族使用。

提出的方法

• 使用 Google Translate API 收集了五种突厥语的新型双语词典。
• 基于 Baisa 等人（2012）的突厥语语料库，为每种突厥语训练了单语 fastText 词嵌入。
• 应用三种最先进的跨语言对齐方法：MUSE、VecMap 和 Meemi，以对齐单语嵌入空间。
• 利用 Meemi 对 VecMap 对齐方法的优化，以提升在词形丰富、低资源语言上的性能。
• 通过双语词典归纳评估对齐质量，测量词对在 top-k 中的准确率。
• 使用在对齐嵌入上训练的 RNN 模型，在乌兹别克语上进行外部评估，开展情感分析任务。

实验结果

研究问题

• RQ1 跨语言词嵌入对齐技术能否有效将英语和土耳其语的知识迁移至低资源突厥语？
• RQ2 使用相关且资源丰富的突厥语（土耳其语）作为对齐参考，是否优于使用英语？
• RQ3 新收集的双语词典和单语嵌入与现有资源相比，在质量与实用性方面如何？
• RQ4 在低资源环境下，跨语言对齐在下游自然语言处理任务（如情感分析）中的性能提升程度如何？
• RQ5 在词形丰富的低资源突厥语中，MUSE、VecMap 和 Meemi 哪种对齐方法表现最佳？

主要发现

• Meemi 对 VecMap 对齐模型的优化在所有五种突厥语的双语词典归纳任务中均取得了最高性能。
• 新收集的双语词典和单语词嵌入在对齐质量方面优于以往可用的资源。
• 以土耳其语作为对齐参考语言的跨语言对齐效果优于使用英语，表明语言亲缘性可增强知识迁移效果。
• 在乌兹别克语的情感分析任务中，使用 Meemi 对齐嵌入训练的 RNN 模型在翻译数据集上的测试 F1 得分为 0.8876，略高于基线 fastText 模型（0.8832）。
• 结果证实，低资源语言的单语词嵌入可通过跨语言对齐获益，尤其是当与相关且高资源语言对齐时。
• 本研究证明，跨语言对齐在词形丰富的低资源突厥语中是可行且有效的，其中 Meemi 在 VecMap 上表现最优。