[论文解读] Improving Cross-Lingual Word Embeddings by Meeting in the Middle

Yerai Doval, José Camacho-Collados+2 more|ORCA Online Research @Cardiff (Cardiff University)|Aug 27, 2018

Topic Modeling参考文献 47被引用 12

一句话总结

本文提出了一种新颖的跨语言词嵌入优化方法，通过应用后对齐变换，将跨语言词对映射到其平均向量表示，从而在跨语言和单语言下游任务中均取得性能提升。该方法在双语词典归纳、词相似度和跨语言上下位词发现基准上均优于当前最先进模型。

ABSTRACT

Cross-lingual word embeddings are becoming increasingly important in multilingual NLP. Recently, it has been shown that these embeddings can be effectively learned by aligning two disjoint monolingual vector spaces through linear transformations, using no more than a small bilingual dictionary as supervision. In this work, we propose to apply an additional transformation after the initial alignment step, which moves cross-lingual synonyms towards a middle point between them. By applying this transformation our aim is to obtain a better cross-lingual integration of the vector spaces. In addition, and perhaps surprisingly, the monolingual spaces also improve by this transformation. This is in contrast to the original alignment, which is typically learned such that the structure of the monolingual spaces is preserved. Our experiments confirm that the resulting cross-lingual embeddings outperform state-of-the-art models in both monolingual and cross-lingual evaluation tasks.

研究动机与目标

• 解决现有跨语言对齐方法保留单语言空间结构的局限性，该结构可能无法反映语言特异性差异。
• 通过引入对称变换，克服初始对齐后跨语言同义词之间的残余差距。
• 通过共享中点映射方式，优化对齐嵌入以同时提升跨语言与单语言性能。
• 证明简单的后对齐变换可在不改变初始对齐过程的前提下带来显著性能提升。
• 提供一种可泛化的通用方法，适用于任何预训练的双语嵌入模型，仅通过轻量级可学习变换实现。

提出的方法

• 从使用最先进方法（如VecMap或MUSE）预对齐的单语言词嵌入空间开始。
• 应用可学习的线性变换，将每个词及其翻译映射到其平均向量表示：$ \vec{v}_{\text{mid}} = \frac{1}{2}(\vec{v}_w + \vec{v}_{w'}) $。
• 使用小规模双语词典作为监督信号进行训练，优化目标为在共享空间中使词对之间的距离更近。
• 对所有词对使用共享的变换矩阵，通过梯度下降优化平均向量目标进行学习。
• 在保留初始对齐结构的同时，通过优化嵌入空间来减少语言间的差异。
• 将该方法作为后处理步骤集成，使其与任何现有跨语言嵌入模型兼容。

实验结果

研究问题

• RQ1 通过将对齐的词对向其中点移动来优化跨语言词嵌入，是否能提升单语言与跨语言任务的性能？
• RQ2 所提出的变换是否能在初始对齐之后进一步提升单语言词相似度与相似度评估性能？
• RQ3 在不同语言对与数据规模下，该方法与MUSE和VecMap等最先进模型相比，在性能与鲁棒性方面表现如何？
• RQ4 通过在多语言中扩展平均策略，该方法能否推广至多语言设置？
• RQ5 随着双语监督数据的增加，模型性能是否提升？其是否更能捕捉通用或高层次的语义关系？

主要发现

• 所提出的方法，命名为“中点会面”（MeeMi），在双语词典归纳（BDI）任务中达到最先进性能，优于MUSE与VecMap在所有数据设置下的表现。
• 在单语言词相似度基准上，MeeMi相较于VecMap与MUSE，性能最高提升1.5分（例如，英语-芬兰语相似度中，7.8 vs. 7.0）。
• 在跨语言上下位词发现任务中，当使用2k目标语言样本训练时，MeeMi正确识别出143个词（共1000个）的上下位词，优于VecMap的111个。
• 尽管未保留原始单语言空间结构，该方法仍能提升单语言词相似度，表明嵌入空间得到了有益的重新组织。
• 随着双语监督数据的增加，性能持续提升，表明该方法能有效利用更大词典来优化对齐质量。
• 由于平均效应，模型更倾向于预测通用上下位词（如“person”、“citizen”），这与人工标注的语义层级结构一致。