[论文解读] Are Girls Neko or Shōjo? Cross-Lingual Alignment of Non-Isomorphic Embeddings with Iterative Normalization

Mozhi Zhang, Keyulu Xu+3 more|arXiv (Cornell University)|Jun 4, 2019

Topic Modeling参考文献 36被引用 5

一句话总结

本文提出迭代归一化（Iterative Normalization）方法，通过强制单语词嵌入满足单位向量长度和每种语言的零均值，提升非同构语言对之间的跨语言对齐效果。通过迭代归一化词嵌入，该方法显著提高了词翻译准确率——尤其在英语-日语语言对上，准确率从2%提升至44%，适用于多种最先进的基于映射的跨语言词嵌入方法。

ABSTRACT

Cross-lingual word embeddings (CLWE) underlie many multilingual natural language processing systems, often through orthogonal transformations of pre-trained monolingual embeddings. However, orthogonal mapping only works on language pairs whose embeddings are naturally isomorphic. For non-isomorphic pairs, our method (Iterative Normalization) transforms monolingual embeddings to make orthogonal alignment easier by simultaneously enforcing that (1) individual word vectors are unit length, and (2) each language's average vector is zero. Iterative Normalization consistently improves word translation accuracy of three CLWE methods, with the largest improvement observed on English-Japanese (from 2% to 44% test accuracy).

研究动机与目标

• 解决当源语言和目标语言具有非同构向量空间结构时，对齐跨语言词嵌入的挑战。
• 识别出当嵌入缺乏长度不变性和中心不变性时，正交跨语言映射会失效。
• 开发一种预处理方法，同时强制实现单位向量长度和每种语言的零均值，以提升正交对齐的兼容性。
• 证明所提出方法可提升多种跨语言嵌入框架（包括正交与非正交映射）的性能。
• 验证归一化在保持单语语义结构的同时，能够实现更优的多语言对齐。

提出的方法

• 应用交替投影算法，迭代归一化单语词嵌入，以满足两个约束条件：(1) 所有词向量具有单位长度；(2) 每种语言的平均向量为零。
• 该算法在归一化向量长度和中心化均值之间交替进行，收敛至同时满足两个条件的解。
• 该方法对底层跨语言映射技术保持无感知，可兼容Procrustes分析、精炼方法和松弛csls。
• 归一化在任何映射步骤之前应用，将单语嵌入转换为更适用于正交变换的形式。
• 该方法基于理论分析，表明长度不变性和中心不变性可提升正交对齐的可行性。
• 该算法以迭代过程实现，具有收敛性保证，且代码已公开。

实验结果

研究问题

• RQ1 我们能否通过预处理单语嵌入，提升非同构语言对之间的跨语言词嵌入对齐效果？
• RQ2 强制实现单位向量长度和每种语言的零均值，是否能提升正交跨语言映射方法的性能？
• RQ3 与标准归一化技术（如按维度均值中心化和长度归一化）相比，迭代归一化有何差异？
• RQ4 所提出方法是否不仅提升正交映射，也提升非正交方法（如松弛csls）的性能？
• RQ5 归一化过程在多大程度上有效保持了单语词嵌入中的语义结构？

主要发现

• 在英语-日语语言对上，迭代归一化将词翻译准确率从2%提升至44%，在所有测试的39种语言对中提升幅度最大。
• 该方法在三种不同的跨语言嵌入方法（Procrustes分析、精炼Procrustes和松弛csls）中均一致提升了翻译准确率。
• 即使对于非正交方法（如松弛csls），迭代归一化也能提升性能，表明长度不变性和中心不变性对广泛类别的对齐技术均有益处。
• 标准归一化（均值中心化 + 长度归一化）仅带来微小增益，证实单次处理不足以达到迭代优化的效果。
• 单语词相似性基准测试（ws-353、mc、rg、yp-130）显示，归一化后性能下降极小，表明有用的语义结构得以保留。
• 该方法在多种语言对中均有效，显著提升了对齐效果，即使原始嵌入空间结构差异较大也成立。