[论文解读] Non-Adversarial Unsupervised Word Translation

Yedid Hoshen, Lior Wolf|arXiv (Cornell University)|Jan 18, 2018

Natural Language Processing Techniques参考文献 27被引用 15

一句话总结

本文提出了一种非对抗性、迭代式的无监督词翻译方法，通过匹配二阶统计量并利用随机的、小批量的优化方法对齐不同语言的词嵌入。该方法在性能上优于最先进的基于GAN的方法，在CPU上运行高效，且无需对抗训练或大量超参数调优即可实现高精度。

ABSTRACT

Unsupervised word translation from non-parallel inter-lingual corpora has attracted much research interest. Very recently, neural network methods trained with adversarial loss functions achieved high accuracy on this task. Despite the impressive success of the recent techniques, they suffer from the typical drawbacks of generative adversarial models: sensitivity to hyper-parameters, long training time and lack of interpretability. In this paper, we make the observation that two sufficiently similar distributions can be aligned correctly with iterative matching methods. We present a novel method that first aligns the second moment of the word distributions of the two languages and then iteratively refines the alignment. Extensive experiments on word translation of European and Non-European languages show that our method achieves better performance than recent state-of-the-art deep adversarial approaches and is competitive with the supervised baseline. It is also efficient, easy to parallelize on CPU and interpretable.

研究动机与目标

• 为解决基于GAN的无监督词翻译方法存在的超参数敏感、训练时间长以及缺乏可解释性等局限性。
• 探究对抗训练是否为实现高性能无监督词翻译所必需。
• 开发一种比深度生成对抗模型更简单、更高效且更具可解释性的跨语言词嵌入对齐替代方法。
• 在无需平行语料库的前提下，提升在多种语言对（包括非印欧语系和低资源语言）上的性能。

提出的方法

• 该方法首先通过主成分分析（PCA）和Procrustes变换，对两种语言的词嵌入的二阶矩（均值与协方差）进行对齐。
• 随后应用一种类似迭代最近点（ICP）的精化过程，通过交替匹配最近邻点与更新仿射变换来实现。
• 通过随机小批量排序和多次独立运行引入随机性，以增强收敛性，尤其在远距离语言对中表现更优。
• 采用基于重建的无监督准则，从多个随机解中选择性能最佳的运行结果，而无需参考词典。
• 通过PCA进行降维，并仅保留前导主成分，以提升稳定性和收敛性。
• 最终变换通过多步过程学习：初始协方差匹配、基于小批量更新的迭代精化，以及通过无监督重建损失进行选择。

实验结果

研究问题

• RQ1 非对抗性、迭代式方法是否能在无监督词翻译中实现优于或等同于最先进GAN方法的性能？
• RQ2 对抗训练是否为实现高质量跨语言词嵌入对齐所必需？
• RQ3 通过小批量排序和多次运行引入的随机性，如何影响远距离语言对的收敛性和性能？
• RQ4 基于二阶矩匹配与迭代精化的简单、可解释方法是否能超越复杂的GAN架构？

主要发现

• 所提方法在欧洲语系与非欧洲语系语言对（包括英-阿拉伯语和英-俄语）上的词翻译准确率均高于近期SOTA的基于GAN的方法。
• 在英-西班牙语与英-法语语对上，该方法在预微调和后微调评估设置中均优于基于GAN的基线方法。
• 对于英-阿拉伯语与英-意大利语等具有挑战性的语对，该方法在远超Procrustes-ICP（在500次运行中均未收敛）的运行次数中成功收敛。
• 同时使用随机PCA与随机小批量排序可显著提升收敛率，尤其在远距离语言中，凸显了随机性在探索过程中的重要性。
• 该方法对超参数选择具有鲁棒性，在多次运行中表现一致，且几乎无需调参。
• 该方法高度高效，可完全在CPU上并行化，使无GPU资源的实验室也能轻松使用。