[论文解读] Exploiting Similarities among Languages for Machine Translation

Tomáš Mikolov, Quoc V. Le+1 more|arXiv (Cornell University)|Sep 17, 2013

Natural Language Processing Techniques参考文献 16被引用 1,438

一句话总结

本文提出了一种方法，通过从大规模单语语料库中学习分布式词表示，并利用少量双语词典作为监督，对语言向量空间应用线性映射，从而自动生成和扩展机器翻译词典与短语表。该方法在英语-西班牙语词翻译任务中达到高达90%的Precision@5，证明了其在包括英语-捷克语和英语-越南语在内的多种语言对中的有效性。

ABSTRACT

Dictionaries and phrase tables are the basis of modern statistical machine translation systems. This paper develops a method that can automate the process of generating and extending dictionaries and phrase tables. Our method can translate missing word and phrase entries by learning language structures based on large monolingual data and mapping between languages from small bilingual data. It uses distributed representation of words and learns a linear mapping between vector spaces of languages. Despite its simplicity, our method is surprisingly effective: we can achieve almost 90% precision@5 for translation of words between English and Spanish. This method makes little assumption about the languages, so it can be used to extend and refine dictionaries and translation tables for any language pairs.

研究动机与目标

• 自动化统计机器翻译系统中翻译词典与短语表的创建与扩展。
• 通过利用大规模单语语料库和少量双语种子数据，减少对人工整理的依赖。
• 通过学习语言之间的有意义向量空间投影，提升翻译性能。
• 利用向量相似性和翻译置信度分数，检测并纠正现有词典中的错误。
• 将机器翻译的应用范围扩展至低资源语言及语言结构差异较大的语言对。

提出的方法

• 在大规模单语文本语料库上使用Skip-gram和连续词袋（CBOW）模型训练分布式词表示。
• 利用少量双语词典作为监督，学习源语言与目标语言向量空间之间的线性变换矩阵。
• 在推理阶段，将源语言词向量投影到目标语言空间，并检索最近邻作为翻译结果。
• 结合编辑距离与向量相似性，优化翻译候选，提升鲁棒性，尤其适用于相关语言。
• 将该方法应用于词级与短语级翻译，包括从大规模数据中提取的多词表达。
• 使用Precision@1和Precision@5等精度指标，在保留的测试集上评估翻译质量。

实验结果

研究问题

• RQ1 能否利用少量双语词典，有效对齐来自单语数据的分布式词表示？
• RQ2 该方法在低资源或语言结构差异较大的语言对中，能在多大程度上提升翻译准确率？
• RQ3 该方法能否检测并纠正现有翻译词典中的错误？
• RQ4 与传统基于形态或上下文的翻译推理技术相比，该方法的性能如何？
• RQ5 该系统能否泛化至短语级翻译，并有效处理词序或形态结构不同的语言（如越南语）？

主要发现

• 在英语-西班牙语词翻译任务中，该方法达到90%的Precision@5，表明在语言关系较近的语言对中表现优异。
• 在英语-捷克语翻译中，系统在高置信度翻译中达到75%的Precision@1，证明其在语言差异较大的语言对中同样有效。
• 系统成功识别并标记了错误或模糊的词典条目，经人工检查的85%案例显示，系统的输出比原始条目更准确。
• 在英语-越南语翻译中，系统达到24%的Precision@1和40%的Precision@5，表明尽管存在显著的形态与结构差异，该方法仍具可行性。
• 通过单语预训练与线性投影的结合，仅需极少双语监督即可实现高质量翻译，优于仅依赖形态相似性或上下文匹配的方法。
• 该方法在多种语言对中均表现出鲁棒性，包括越南语等非一一对应语言，并可应用于丰富现有短语表与词典。