[论文解读] Data Diversification: An Elegant Strategy For Neural Machine Translation.

Xuan-Phi Nguyen, Shafiq Joty+2 more|arXiv (Cornell University)|Nov 5, 2019

Natural Language Processing Techniques被引用 10

一句话总结

本文提出数据多样化（Data Diversification）策略，通过使用多个前向和反向神经机器翻译（NMT）模型的预测结果来增强训练数据，再将这些预测结果与原始数据集合并，从而提升神经机器翻译（NMT）性能。该方法在不增加额外单语数据或模型复杂度的前提下，在 WMT'14 英德和英法翻译任务上分别取得了 30.7 和 43.7 的最先进 BLEU 分数。

ABSTRACT

We introduce Data Diversification: a simple strategy to boost neural machine translation (NMT) performance. It diversifies the training data by using the predictions of multiple forward and backward models and then merging them with the original dataset on which the final NMT model is trained. Our method is applicable to all NMT models. It does not require extra monolingual data like back-translation, nor does it add more computations and parameters like ensembles of models. In the experiments, our method achieves state-of-the-art BLEU score of 30.7 & 43.7 in the WMT'14 English-German & English-French tasks. It also substantially improves on 8 other translation tasks: 4 IWSLT tasks (English-German and English-French) and 4 low-resource translation tasks (English-Nepali and English-Sinhala). We demonstrate that our method is more effective than knowledge distillation and dual learning, it exhibits strong correlation with ensembles of models, and it trades perplexity off for better BLEU score. We have released our source code at https://github.com/nxphi47/data_diversification

研究动机与目标

• 在不依赖额外单语数据或模型集成的前提下，提升神经机器翻译（NMT）性能。
• 解决现有数据增强技术（如回译和知识蒸馏）在低资源和标准翻译设置中的局限性。
• 开发一种轻量级、与模型无关的策略，提升训练数据多样性，同时保持推理效率。
• 在包括低资源和 IWSLT 基准在内的多种翻译任务中实现一致的性能提升。
• 建立一种与模型集成性能高度相关但避免其计算和参数开销的方法。

提出的方法

• 在相同的平行单语数据上训练多个前向和反向 NMT 模型，以生成合成翻译对。
• 利用这些模型的预测结果，为最终的 NMT 模型生成多样化且高质量的训练样本。
• 将合成数据与原始的平行训练数据合并，形成增强后的训练集。
• 在组合数据集上训练最终的 NMT 模型，同时利用真实数据和模型生成的翻译。
• 该方法与模型无关，无需架构修改或额外参数。
• 通过直接使用多样化、模型预测的示例来丰富训练数据，避免了对回译或知识蒸馏的依赖。

实验结果

研究问题

• RQ1 数据多样化是否能在不依赖额外单语数据或模型集成的情况下提升 NMT 性能？
• RQ2 与知识蒸馏和对偶学习相比，该方法在翻译质量与训练效率方面表现如何？
• RQ3 数据多样化与模型集成性能的相关性有多强？
• RQ4 该方法是否在包括低资源和 IWSLT 基准在内的多种翻译任务中具有泛化能力？
• RQ5 数据多样化是否能在牺牲少量困惑度的前提下提升 BLEU 分数，表明其泛化能力增强？

主要发现

• 数据多样化在 WMT'14 英德翻译任务上实现了 30.7 的最先进 BLEU 分数。
• 在 WMT'14 英法翻译任务上，其 BLEU 分数达到 43.7，优于现有方法。
• 该方法在另外 8 项翻译任务上显著提升性能，包括 4 项 IWSLT 任务以及英语-尼泊尔语、英语-僧伽罗语等 4 个低资源设置。
• 与知识蒸馏或对偶学习相比，该方法与模型集成性能的相关性更强，表明其具备更强的鲁棒性与有效性。
• 该方法在困惑度略有上升的代价下实现了显著的 BLEU 分数提升，表明泛化能力与翻译质量得到改善。
• 该方法在多种 NMT 架构中均表现有效，且在推理阶段无需额外参数或计算开销。