[论文解读] LNMap: Departures from Isomorphic Assumption in Bilingual Lexicon Induction Through Non-Linear Mapping in Latent Space

Tasnim Mohiuddin, M Saiful Bari+1 more|arXiv (Cornell University)|Apr 28, 2020

Natural Language Processing Techniques被引用 4

一句话总结

LNMap 提出了一种半监督的跨语言词嵌入方法，通过在独立训练的自编码器潜在空间中学习非线性映射，绕过了同构假设。该方法在低资源和远距离语言对上取得了最先进性能，仅使用 1K 组种子词对，相比先前的监督方法绝对提升达 18%。

ABSTRACT

Most of the successful and predominant methods for bilingual lexicon induction (BLI) are mapping-based, where a linear mapping function is learned with the assumption that the word embedding spaces of different languages exhibit similar geometric structures (i.e., approximately isomorphic). However, several recent studies have criticized this simplified assumption showing that it does not hold in general even for closely related languages. In this work, we propose a novel semi-supervised method to learn cross-lingual word embeddings for BLI. Our model is independent of the isomorphic assumption and uses nonlinear mapping in the latent space of two independently trained auto-encoders. Through extensive experiments on fifteen (15) different language pairs (in both directions) comprising resource-rich and low-resource languages from two different datasets, we demonstrate that our method outperforms existing models by a good margin. Ablation studies show the importance of different model components and the necessity of non-linear mapping.

研究动机与目标

• 为解决线性映射方法在双语词典归纳（BLI）中的局限性，这些方法假设不同语言嵌入空间具有同构的几何结构。
• 开发一种对单语词嵌入分布不匹配具有鲁棒性的方法，尤其适用于低资源和语源上相距较远的语言。
• 通过在潜在空间中实现灵活的非线性变换，减少对正交性或同构性等强假设的依赖。
• 证明在重建和反向翻译约束指导下，潜在空间中的非线性映射相比线性或 Procrustes 方法能实现更优的对齐效果。

提出的方法

• LNMap 使用两个独立的非线性自编码器，在单语词嵌入上进行训练，以学习每种语言的解耦潜在码表示。
• 通过少量种子词典，在两种语言的潜在码之间学习非线性映射，避免线性或正交约束。
• 施加两种辅助约束：反向翻译（通过潜在空间从目标语言映射回源语言）和原始嵌入重建，以保持语义保真度。
• 非线性映射器通过结合重建、反向翻译和对齐损失的联合损失函数进行端到端训练。
• 该方法为半监督设置，仅使用 1K 组种子词对进行监督，同时利用单语预训练提供的丰富语义信息。
• 消融研究对比了线性与非线性自编码器及映射器，表明非线性在低资源和远距离语言对中至关重要。

实验结果

研究问题

• RQ1 在跨语言词嵌入学习中放松同构假设，是否能提升在低资源和远距离语言对上的性能？
• RQ2 在自编码器的潜在空间中使用非线性映射，是否能在双语词典归纳中超越线性或基于 Procrustes 的方法？
• RQ3 重建和反向翻译约束如何共同提升所学习的跨语言映射的鲁棒性和准确性？
• RQ4 非线性映射带来的性能提升在低资源还是高资源语言设置中更为显著？
• RQ5 非线性自编码器与非线性映射器在整体框架中的相对贡献是什么？

主要发现

• 在仅使用 1K 组种子词对的情况下，LNMap 在低资源语言对上相比最先进监督方法 Joulin et al. (2018) 平均绝对提升 18%。
• 在低资源语言对上，LNMap 在大多数翻译任务中优于最鲁棒的无监督方法（Artetxe et al., 2018b）。
• 消融研究显示，重建损失对低资源语言最为关键，若移除该损失，准确率下降 6.4%。
• 将非线性映射器替换为线性映射器会导致性能显著下降，尤其在低资源对上，证实了非线性的必要性。
• 对于高资源语言，线性自编码器优于非线性自编码器，但对低资源语言则相反，表明其表征需求不同。
• 反向翻译与重建损失的协同效应得到验证，两者均对对齐质量和鲁棒性有显著贡献。