[论文解读] Unsupervised Hyperalignment for Multilingual Word Embeddings

Jean Alaux, Édouard Grave+2 more|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 39被引用 41

一句话总结

本论文通过学习可组合映射到一个公共枢纽空间来扩展无监督的双语词嵌入对齐到多语言场景，强化可传递翻译并在十一种语言之间改善间接词翻译。

ABSTRACT

We consider the problem of aligning continuous word representations, learned in multiple languages, to a common space. It was recently shown that, in the case of two languages, it is possible to learn such a mapping without supervision. This paper extends this line of work to the problem of aligning multiple languages to a common space. A solution is to independently map all languages to a pivot language. Unfortunately, this degrades the quality of indirect word translation. We thus propose a novel formulation that ensures composable mappings, leading to better alignments. We evaluate our method by jointly aligning word vectors in eleven languages, showing consistent improvement with indirect mappings while maintaining competitive performance on direct word translation.

研究动机与目标

• 在无监督的情况下激发词嵌入的多语言对齐。
• 将无监督的双语对齐扩展到具有可组合映射的多语言。
• 通过将所有语言对齐到一个公共枢纽空间来强制翻译的可传递性。
• 在十一种语言上评估以评估直接和间接翻译质量。

提出的方法

• 定义一个公共枢纽空间，每种语言通过正交矩阵 Q_i 映射并通过置换 P_ij 进行对齐。
• 使用多语言目标函数，最小化跨语言对的基于 RCSLS 的损失和 α_ij 的加权和，以在枢纽空间中鼓励一致的对齐。
• 采用两阶段优化：先用 L2 损失和 Sinkhorn 为基础的分配进行训练，然后切换到更快的、近似的 RCSLS 损失以提高效率。
• 用基于 Gromov-Wasserstein 的方案初始化，以获得一个良好的起始置换 P。
• 通过对语言对进行随机抽样以扩展到多语言的优化规模。
• 同时评估直接翻译到/来自枢纽以及非枢纽语言之间的间接翻译。

实验结果

研究问题

• RQ1 在不监督的前提下，是否可以将多种语言对齐到一个共同空间，同时保留或改善非枢纽语言对之间的间接翻译？
• RQ2 通过共同枢纽空间强制可组合性，是否能降低相对于独立双语对齐的间接翻译退化？
• RQ3 α_ij 的加权方案和初始化如何影响多语言对齐质量和可扩展性？
• RQ4 从双语无监督对齐扩展到多语言无监督对齐时，直接翻译与间接翻译性能之间的权衡如何？

主要发现

• UMH 在直接词翻译的表现方面与双语及其他多语言方法相比具有竞争力。
• 在强制可组合的多语言对齐时，间接翻译质量显著提升，尤其是对距离较远的语言对。
• 具有11种语言的多语言设置保持了强烈的直接翻译，同时在语言家族之间实现了稳健的间接翻译。
• 倾向于直接枢纽连接的加权方案有助于在语言数量增多时保持枢纽翻译，同时不过分牺牲间接翻译。
• 通过 Gromov-Wasserstein 初始化，结合阶段性优化，提供了可在 CPU 上实现的实际收敛性与可扩展训练。