[论文解读] Bilingual Dictionary Based Neural Machine Translation without Using Parallel Sentences

Xiangyu Duan, Baijun Ji+6 more|arXiv (Cornell University)|Jul 6, 2020

Natural Language Processing Techniques参考文献 31被引用 9

一句话总结

该论文提出了一种新颖的神经机器翻译（NMT）框架，仅依赖于真实语料的双语词典和单语语料，无需平行句子监督。该方法引入了锚定训练（Anchored Training, AT），利用词典提供的词对作为锚定点，对齐源语言和目标语言的表示，其性能可与在超过400万句平行语料上训练的监督式SMT系统相媲美，尤其在远距离语言对上表现突出。

ABSTRACT

In this paper, we propose a new task of machine translation (MT), which is based on no parallel sentences but can refer to a ground-truth bilingual dictionary. Motivated by the ability of a monolingual speaker learning to translate via looking up the bilingual dictionary, we propose the task to see how much potential an MT system can attain using the bilingual dictionary and large scale monolingual corpora, while is independent on parallel sentences. We propose anchored training (AT) to tackle the task. AT uses the bilingual dictionary to establish anchoring points for closing the gap between source language and target language. Experiments on various language pairs show that our approaches are significantly better than various baselines, including dictionary-based word-by-word translation, dictionary-supervised cross-lingual word embedding transformation, and unsupervised MT. On distant language pairs that are hard for unsupervised MT to perform well, AT performs remarkably better, achieving performances comparable to supervised SMT trained on more than 4M parallel sentences.

研究动机与目标

• 探索仅在拥有真实语料双语词典和单语语料、无任何平行句子监督的情况下，神经机器翻译的潜力。
• 解决零样本翻译设置中源语言与目标语言表示空间之间巨大差异的挑战。
• 开发一种在整个训练过程中有效利用双语词典的方法，而非仅用于初始化。
• 提升在未见语言对（尤其是远距离语言对）上的翻译性能，这些语言对上无监督NMT通常表现不佳。

提出的方法

• 提出锚定训练（AT），利用真实语料双语词典中的词对作为锚定点，以缩小源语言与目标语言表示之间的分布差距。
• 通过最小化共享潜在空间中词典提供词对的对齐词嵌入距离来训练NMT模型。
• Bi-view AT通过从源语言和目标语言双重视角应用锚定，并融合两种视角以增强对齐效果和翻译质量。
• 将跨语言预训练（如XLM）与AT结合，进一步提升性能，尤其在低资源和远距离语言对上。
• 模型使用最大池化提取句子级表示，并通过平行句子对之间的余弦相似度评估跨语言不变性。
• 在多个语言对上使用BLEU分数评估该方法，并对词典大小以及真实词典与人工词典的差异进行消融实验。

实验结果

研究问题

• RQ1 仅使用双语词典和单语语料、无任何平行句子监督，神经机器翻译系统能否实现高性能？
• RQ2 与无监督NMT和词典监督的嵌入变换相比，锚定训练（AT）在缩小源语言与目标语言表示分布差距方面有多有效？
• RQ3 结合源语言和目标语言双重视角的锚定（Bi-view AT）是否能带来优于单视角锚定的翻译质量？
• RQ4 在无平行句子的情况下，双语词典的大小如何影响翻译性能？
• RQ5 所提方法能否在远距离语言对上实现与在大规模平行数据上训练的监督式SMT系统相当的性能？

主要发现

• Bi-view AT在中英翻译任务上达到21.16的BLEU分数，显著优于XLM+UNMT（20.68）和AT（19.83）的基线结果。
• 仅使用四分之一的真实词典（约3,000对词对）即可提升翻译性能，ACP+AT在该设置下达到22.84的BLEU分数。
• 在ACP+AT中完整使用词典时，中英翻译性能提升至26.80 BLEU，接近在超过400万句平行语料上训练的监督式SMT系统。
• 真实语料双语词典在中英翻译任务中始终优于无监督BLI生成的人工词典，表现高出3.1 BLEU。
• 句子级余弦相似度分析表明，ACP+Bi-view AT在所有编码器层均展现出强于XLM+UNMT的跨语言不变性。
• 该方法在远距离语言对上表现尤为突出，而这些语言对上无监督NMT通常表现不佳，体现出在低资源设置下的鲁棒性。