[论文解读] Cross-model Back-translated Distillation for Unsupervised Machine Translation

Xuan-Phi Nguyen, Shafiq Joty+3 more|arXiv (Cornell University)|Jun 3, 2020

Natural Language Processing Techniques参考文献 33被引用 12

一句话总结

本文提出了一种名为跨模型回译蒸馏（Cross-model Back-translated Distillation, CBD）的新方法，通过训练两个独立的无监督机器翻译（UMT）模型，以迭代方式对单语数据进行回译，生成多样化的合成平行数据用于蒸馏。CBD在WMT’14英语-法语（38.2 BLEU）、WMT’16英语-德语（30.1 BLEU）以及英语-罗马尼亚语（36.3 BLEU）任务上取得了最先进性能，在IWSLT基准上持续提升1.5–3.3 BLEU，通过提升数据多样性超越了现有方法。

ABSTRACT

Recent unsupervised machine translation (UMT) systems usually employ three main principles: initialization, language modeling and iterative back-translation, though they may apply them differently. Crucially, iterative back-translation and denoising auto-encoding for language modeling provide data diversity to train the UMT systems. However, the gains from these diversification processes has seemed to plateau. We introduce a novel component to the standard UMT framework called Cross-model Back-translated Distillation (CBD), that is aimed to induce another level of data diversification that existing principles lack. CBD is applicable to all previous UMT approaches. In our experiments, CBD achieves the state of the art in the WMT'14 English-French, WMT'16 English-German and English-Romanian bilingual unsupervised translation tasks, with 38.2, 30.1, and 36.3 BLEU respectively. It also yields 1.5-3.3 BLEU improvements in IWSLT English-French and English-German tasks. Through extensive experimental analyses, we show that CBD is effective because it embraces data diversity while other similar variants do not.

研究动机与目标

• 为解决现有无监督机器翻译（UMT）方法在广泛使用去噪自编码和迭代回译后性能提升趋于平缓的问题。
• 提出一种新范式——跨模型回译蒸馏（CBD），在现有UMT框架之上引入更高层次的数据多样性。
• 通过利用两个独立训练的UMT代理之间进行交叉翻译生成的合成平行数据，提升模型的泛化能力和鲁棒性。
• 证明CBD有效、可泛化，并可应用于任何现有UMT方法，无需大规模预训练或平行数据。
• 表明CBD的性能提升并非源于模型集成或直接蒸馏，而是通过生成更多样化且信息量更高的合成训练数据。

提出的方法

• CBD使用标准UMT原则（包括初始化、去噪自编码和迭代回译）训练两个独立的双向UMT代理。
• 第一个代理将单语源语言数据翻译为目标语言，生成合成目标语句。
• 第二个代理随后将这些合成目标语句回译回源语言，生成第二层合成平行数据。
• 从两个翻译方向获得的合成平行对被用于蒸馏最终的有监督机器翻译模型，从而增强其泛化能力和鲁棒性。
• CBD作为外部模块应用于任何现有UMT框架，兼容多种初始化和训练策略。
• 该方法通过依赖训练良好的模型进行交叉翻译，避免了简单的数据增强，从而生成高质量且多样化的人工数据。

实验结果

研究问题

• RQ1 能否设计一种新的数据多样化机制，突破当前去噪自编码和迭代回译在无监督机器翻译中的局限？
• RQ2 在两个独立训练的UMT代理之间进行跨模型回译，是否能生成比单模型回译更丰富、更有效的合成数据？
• RQ3 为何CBD在无监督设置下优于单模型回译或基于集成的数据生成等类似变体？
• RQ4 CBD是否能在不依赖大规模预训练或平行单语数据的情况下实现最先进性能？
• RQ5 CBD生成的数据多样性与标准回译及基于采样的增强方法相比，在模型性能和内在信息捕获方面有何差异？

主要发现

• CBD在WMT’14英语-法语无监督翻译任务上达到38.2 BLEU的新最先进水平，超越了先前方法。
• CBD在WMT’16英语-德语（30.1 BLEU）和英语-罗马尼亚语（36.3 BLEU）任务上也创下新SOTA，展现出在多种语言对上的广泛有效性。
• CBD在IWSLT’14英语-德语和IWSLT’13英语-法语基准上分别提升1.5–3.3 BLEU，表明其具有强大的泛化能力。
• 大量消融实验确认，CBD的有效性源于增强的数据多样性，而非模型集成或直接蒸馏。
• CBD优于其他方法，如单模型回译、基于采样的增强和集成蒸馏，这些方法在无监督设置下因缺乏监督而失效。
• 该方法表明，通过跨模型翻译生成的合成数据比单模型生成的数据更具信息量和多样性，从而带来更好的模型泛化性能。