[论文解读] Improving Supervised Bilingual Mapping of Word Embeddings.

Armand Joulin, Piotr Bojanowski+2 more|arXiv (Cornell University)|Apr 20, 2018

Natural Language Processing Techniques被引用 5

一句话总结

本文提出一种基于检索的损失函数，以改进监督式双语词嵌入映射，用以替代标准的平方损失，从而缓解词翻译中的hubness问题。该方法通过直接优化检索准确率而非回归误差，在词嵌入映射任务中取得了最先进性能，尤其在英语-中文等远距离语言对上表现突出。

ABSTRACT

Continuous word representations, learned on different languages, can be aligned with remarkable precision. Using a small bilingual lexicon as training data, learning the linear transformation is often formulated as a regression problem using the square loss. The obtained mapping is known to suffer from the hubness problem, when used for retrieval tasks (e.g. for word translation). To address this issue, we propose to use a retrieval criterion instead of the square loss for learning the mapping. We evaluate our method on word translation, showing that our loss function leads to state-of-the-art results, with the biggest improvements observed for distant language pairs such as English-Chinese.

研究动机与目标

• 为解决监督式双语词嵌入映射中的hubness问题，该问题虽在回归准确率高时仍会降低检索性能。
• 提升词翻译性能，特别是传统方法表现欠佳的远距离语言对（如英语-中文）。
• 用基于检索的准则替代标准平方损失，使其更契合下游翻译任务。
• 证明直接优化检索性能可带来比间接回归学习更优的泛化能力与鲁棒性。

提出的方法

• 该方法用基于检索的损失函数替代传统平方损失，直接优化目标语言空间中正确最近邻检索的性能。
• 检索损失被设计为惩罚错误的最近邻，促使模型在目标嵌入空间中将源词映射到其正确翻译。
• 使用随机梯度下降，端到端地学习双语词嵌入之间的线性变换。
• 该方法类似先前工作，利用小规模双语词典作为训练数据，但重新定义了优化目标，优先考虑检索质量。
• 在标准基准数据集上通过词翻译任务评估该方法，性能以top-k准确率和平均倒数排名（mean reciprocal rank）衡量。

实验结果

研究问题

• RQ1 将平方损失替换为基于检索的损失是否能提升双语嵌入映射中的词翻译性能？
• RQ2 与现有方法相比，该方法在远距离语言对（如英语-中文）上的表现如何？
• RQ3 基于检索的损失在跨语言词嵌入对齐中，能在多大程度上缓解hubness问题？
• RQ4 直接优化检索性能是否能带来比间接回归学习更优的泛化能力？

主要发现

• 所提出的基于检索的损失在词翻译基准上实现了最先进性能，优于使用标准平方损失的方法。
• 在远距离语言对（如英语-中文）上取得最大提升，该问题在这些语言对中最为显著。
• 该方法显著降低了hubness效应，使目标语言空间中的最近邻检索更加可靠和准确。
• 结果表明，直接优化检索性能可带来比仅优化回归误差更优的下游结果。