[论文解读] Multilingual Neural Machine Translation with Language Clustering

Xu Tan, Jiale Chen+4 more|arXiv (Cornell University)|Aug 25, 2019

Natural Language Processing Techniques参考文献 30被引用 11

一句话总结

本文提出了一种多语言神经机器翻译（NMT）中的语言聚类框架，通过将相似语言分组到共享模型中来提升翻译性能。该研究比较了基于语言家族（先验知识）的聚类与端到端学习的语言嵌入聚类，结果表明基于嵌入的聚类在更好地捕捉语言关系方面优于基于家族的聚类，并在23种语言中提升了BLEU分数。

ABSTRACT

Multilingual neural machine translation (NMT), which translates multiple languages using a single model, is of great practical importance due to its advantages in simplifying the training process, reducing online maintenance costs, and enhancing low-resource and zero-shot translation. Given there are thousands of languages in the world and some of them are very different, it is extremely burdensome to handle them all in a single model or use a separate model for each language pair. Therefore, given a fixed resource budget, e.g., the number of models, how to determine which languages should be supported by one model is critical to multilingual NMT, which, unfortunately, has been ignored by previous work. In this work, we develop a framework that clusters languages into different groups and trains one multilingual model for each cluster. We study two methods for language clustering: (1) using prior knowledge, where we cluster languages according to language family, and (2) using language embedding, in which we represent each language by an embedding vector and cluster them in the embedding space. In particular, we obtain the embedding vectors of all the languages by training a universal neural machine translation model. Our experiments on 23 languages show that the first clustering method is simple and easy to understand but leading to suboptimal translation accuracy, while the second method sufficiently captures the relationship among languages well and improves the translation accuracy for almost all the languages over baseline methods

研究动机与目标

• 为在固定资源预算下解决多语言NMT中最佳语言分组选择的挑战。
• 探究基于先验知识（语言家族）的语言聚类与基于学习语言嵌入的聚类在翻译性能上的差异。
• 通过在共享模型中分组语言上相似的语言，提升低资源语言和零样本翻译性能。
• 开发一种可扩展的、端到端的语言聚类方法，使其与多语言翻译任务相匹配。

提出的方法

• 训练一个带有语言特定标签的通用NMT模型，以端到端方式学习每种语言的语言嵌入向量。
• 利用学习到的语言嵌入，在嵌入空间中通过聚类算法（如k-means）对语言进行聚类。
• 比较两种聚类策略：(1) 基于语言家族的先验知识（如印欧语系分支），(2) 基于学习嵌入的无监督聚类。
• 为每个聚类训练一个独立的多语言NMT模型，每个模型负责其语言组内的翻译任务。
• 在IWSLT 2011–2018数据集上，通过BLEU分数评估23种语言在多对一（源语言到英语）和一对多（英语到目标语言）设置下的性能。
• 应用肘部法确定基于嵌入方法的最优聚类数量，在一对多设置中发现5个聚类为最优。

实验结果

研究问题

• RQ1 在多语言NMT中，基于学习嵌入的语言聚类是否优于基于语言家族知识的聚类？
• RQ2 语言嵌入能否有效捕捉细粒度的语言关系，如语言分支和区域影响？
• RQ3 将相似语言聚类在一起如何影响翻译性能，特别是对低资源语言的影响？
• RQ4 多语言NMT中语言分组的最优聚类数量是多少，以及如何确定该数量？
• RQ5 所提出的方法能否扩展到包含数百甚至数千种语言的更大规模多语言设置中？

主要发现

• 通过通用NMT模型学习到的语言嵌入能有效捕捉语言相似性，包括家族内部的语言分支等细粒度关系。
• 使用学习嵌入聚类分组的语言获得的BLEU分数高于基于语言家族的分组，表明聚类质量更优。
• 基于嵌入的聚类方法在多个低资源语言上优于语言家族基线和独立模型，表明数据效率更高。
• 聚类结果反映出区域和历史影响（如汉语与日语、泰语与越南语），表明嵌入能捕捉非家族关系的语言联系。
• 在一对多设置中，通过肘部法确定最优聚类数为5，表明聚类配置稳定且基于数据驱动。
• 尽管独立模型在约10种语言上因容量更高而取得最高BLEU分数，但基于嵌入的聚类方法在训练数据量较小的语言上显著优于独立模型。