[论文解读] Learning Unsupervised Word Mapping by Maximizing Mean Discrepancy

Pengcheng Yang, Fuli Luo+4 more|arXiv (Cornell University)|Nov 1, 2018

Topic Modeling参考文献 26被引用 10

一句话总结

本文提出了一种新颖的无监督词映射方法，通过直接最大化源语言和目标语言词嵌入之间的最大均值差异（MMD），以对齐其分布，而无需复杂的交替优化。通过将MMD作为非参数度量，并结合结构相似性进行初始化，该方法在双语词典归纳和跨语言相似性任务上实现了最先进性能，显著优于现有无监督基线方法。

ABSTRACT

Cross-lingual word embeddings aim to capture common linguistic regularities of different languages, which benefit various downstream tasks ranging from machine translation to transfer learning. Recently, it has been shown that these embeddings can be effectively learned by aligning two disjoint monolingual vector spaces through a linear transformation (word mapping). In this work, we focus on learning such a word mapping without any supervision signal. Most previous work of this task adopts parametric metrics to measure distribution differences, which typically requires a sophisticated alternate optimization process, either in the form of \emph{minmax game} or intermediate \emph{density estimation}. This alternate optimization process is relatively hard and unstable. In order to avoid such sophisticated alternate optimization, we propose to learn unsupervised word mapping by directly maximizing the mean discrepancy between the distribution of transferred embedding and target embedding. Extensive experimental results show that our proposed model outperforms competitive baselines by a large margin.

研究动机与目标

• 为解决无监督词映射中交替优化的不稳定性与复杂性，特别是minmax博弈或密度估计中的问题。
• 在不依赖平行单语或平行双语数据的前提下，提升无监督跨语言词嵌入对齐的鲁棒性与性能。
• 通过结合基于MMD的分布匹配与来自单语嵌入的结构相似性先验，降低对初始化的敏感性。
• 提供一种稳定、非参数的替代方案，以替代需要中间密度估计的参数化分布匹配度量。
• 仅使用单语预训练嵌入，实现与监督方法相当的性能。

提出的方法

• 该方法将词映射建模为一个优化问题，旨在最大化转移后的源嵌入分布与目标嵌入分布之间的MMD。
• 在再生核希尔伯特空间（RKHS）中使用高斯核计算MMD，以度量分布差异，而无需密度估计。
• 优化过程在正交矩阵上进行，以保持向量范数，确保等距变换，这与先前的理论工作一致。
• 通过单语嵌入之间的结构相似性学习热启动初始化，减少收敛问题。
• 使用随机梯度下降进行端到端训练，初始为0.0003的学习率，每轮减半，并基于无监督评估标准进行早停。
• 在初始化后应用细化步骤，以进一步提升对齐质量。

实验结果

研究问题

• RQ1 MMD-based分布匹配能否作为无监督词映射中参数度量的稳定、非参数替代方案？
• RQ2 避免交替优化（如minmax或密度估计）是否能带来更稳定、更有效的无监督词映射训练？
• RQ3 结合MMD与基于结构相似性的初始化在提升收敛性和性能方面有多有效？
• RQ4 无监督方法在多大程度上可实现与监督基线相当的跨语言词对齐性能？
• RQ5 现有方法为何在处理罕见词时表现不佳，MMD-based对齐能否缓解此问题？

主要发现

• 所提方法在双语词典归纳任务上达到最先进性能，EN-ES数据集上准确率达到79.93%，超越所有无监督基线。
• 在跨语言词相似性预测任务中，模型在EN-IT数据集上达到0.72的皮尔逊相关系数，优于所有无监督基线，并与监督方法相当。
• 消融研究显示，初始化至关重要——若无初始化，模型无法收敛，凸显了热启动策略的重要性。
• 细化步骤显著提升性能，表明迭代细化可进一步增强初始MMD优化后的对齐质量。
• 仅MMD匹配组件即可将性能下降减少8.3%，证明其在引导优化中的核心作用。
• 错误分析显示，罕见词仍是挑战，原因在于单语嵌入质量较低，且模型在罕见词对上的表现显著差于常见词。