[论文解读] Embedding Word Similarity with Neural Machine Translation

Felix Hill, Kyunghyun Cho+3 more|arXiv (Cornell University)|Dec 19, 2014

Topic Modeling参考文献 31被引用 40

一句话总结

本文提出，神经机器翻译（NMT）模型学习到的词嵌入在捕捉概念相似性以及词汇-句法角色方面，优于单语语言模型。通过在英语-法语和英语-德语平行语料上训练NMT模型，作者表明这些嵌入在以相似性为重点的基准SimLex-999上优于单语基线模型，并且在不同语言对之间保持稳健，表明基于翻译的训练能促使向量空间中形成更接近人类的语义组织。

ABSTRACT

Neural language models learn word representations, or embeddings, that capture rich linguistic and conceptual information. Here we investigate the embeddings learned by neural machine translation models, a recently-developed class of neural language model. We show that embeddings from translation models outperform those learned by monolingual models at tasks that require knowledge of both conceptual similarity and lexical-syntactic role. We further show that these effects hold when translating from both English to French and English to German, and argue that the desirable properties of translation embeddings should emerge largely independently of the source and target languages. Finally, we apply a new method for training neural translation models with very large vocabularies, and show that this vocabulary expansion algorithm results in minimal degradation of embedding quality. Our embedding spaces can be queried in an online demo and downloaded from our web page. Overall, our analyses indicate that translation-based embeddings should be used in applications that require concepts to be organised according to similarity and/or lexical function, while monolingual embeddings are better suited to modelling (nonspecific) inter-word relatedness.

研究动机与目标

• 探究神经机器翻译（NMT）模型是否在捕捉概念相似性及词汇-句法角色方面，学习到优于单语神经语言模型的词嵌入特性。
• 评估基于翻译的嵌入优势是否能泛化到不同语言对，如英语-法语和英语-德语。
• 解决在大规模词汇表上训练NMT模型时的计算挑战，同时保持嵌入质量。
• 探索通过NMT进行双语表征学习是否能生成反映语言无关、符合人类直觉的概念相似性的嵌入。
• 为下游自然语言处理应用提供一个公开可访问的高质量基于翻译的嵌入资源。

提出的方法

• 在平行单语和双语语料上训练序列到序列的神经机器翻译模型，采用注意力机制和共享嵌入空间。
• 从训练好的NMT模型的编码器和解码器组件中提取词嵌入，将其视为词义的分布式表征。
• 应用一种新颖的词汇表扩展算法，使NMT模型能够扩展到极大规模词汇表（例如100万以上词汇），同时将嵌入质量的退化降至最低。
• 在SimLex-999上评估嵌入性能，该基准用于衡量词相似性，与skip-gram和CBOW等单语模型进行比较。
• 对嵌入空间进行定性分析，评估其在区分同义词与反义词以及编码句法角色方面的表现。
• 使用跨语言对齐和投影技术，检验语言特异性效应是否影响嵌入空间的结构。

实验结果

研究问题

• RQ1 神经机器翻译模型学习到的词嵌入是否在需要概念相似性的任务上优于单语神经语言模型的嵌入？
• RQ2 基于翻译的嵌入特性在多大程度上能泛化到不同语言对，如英语-法语和英语-德语？
• RQ3 为NMT模型提出的新型词汇表扩展方法是否能在扩展至极大规模词汇表时维持高质量嵌入？
• RQ4 为何基于翻译的嵌入更强调概念相似性，而非其他语义关系（如关联或搭配）？
• RQ5 嵌入空间中的语言特异性效应在多大程度上影响语义相似性和句法功能的表征？

主要发现

• 基于翻译的NMT模型嵌入在SimLex-999词相似性基准测试中表现显著优于单语模型，表明其在编码概念相似性方面更具优势。
• NMT嵌入的性能优势在英语-法语和英语-德语翻译任务中均保持一致，表明其优势对语言对差异具有鲁棒性。
• 所提出的词汇表扩展算法使NMT模型能够训练大规模词汇表（最高达100万词），同时将嵌入质量的退化降至最低。
• 定性分析表明，基于翻译的嵌入能更有效地区分同义词与反义词，更符合人类对语义相似性的直觉。
• 在嵌入空间中观察到语言特异性效应，表明跨语言对应关系的性质塑造了语义和句法信息的组织方式。
• 结果支持如下假设：翻译的目标——在不同语言间映射语义等价的词——自然地促进了基于相似性的表征学习，而非非特定关联。