[论文解读] Data Rejuvenation: Exploiting Inactive Training Examples for Neural Machine Translation

Wenxiang Jiao, Xing Wang+4 more|arXiv (Cornell University)|Oct 6, 2020

Natural Language Processing Techniques参考文献 35被引用 6

一句话总结

本文提出数据再生（data rejuvenation）框架，识别神经机器翻译（NMT）数据集中对模型性能贡献最小的不活跃训练样本，并通过前向翻译重用这些样本以提升训练效果。通过在活跃样本与再生后的不活跃样本组合上进行微调，该方法在多种NMT架构和语言对上均持续提升BLEU分数，增强模型泛化能力与训练稳定性。

ABSTRACT

Large-scale training datasets lie at the core of the recent success of neural machine translation (NMT) models. However, the complex patterns and potential noises in the large-scale data make training NMT models difficult. In this work, we explore to identify the inactive training examples which contribute less to the model performance, and show that the existence of inactive examples depends on the data distribution. We further introduce data rejuvenation to improve the training of NMT models on large-scale datasets by exploiting inactive examples. The proposed framework consists of three phases. First, we train an identification model on the original training data, and use it to distinguish inactive examples and active examples by their sentence-level output probabilities. Then, we train a rejuvenation model on the active examples, which is used to re-label the inactive examples with forward-translation. Finally, the rejuvenated examples and the active examples are combined to train the final NMT model. Experimental results on WMT14 English-German and English-French datasets show that the proposed data rejuvenation consistently and significantly improves performance for several strong NMT models. Extensive analyses reveal that our approach stabilizes and accelerates the training process of NMT models, resulting in final models with better generalization capability.

研究动机与目标

• 探究大规模NMT数据集中不活跃训练样本的存在性及其影响。
• 开发一种可泛化的框架，用于识别并重用不活跃样本以提升NMT训练效果。
• 评估再生不活跃样本是否能带来更好的模型泛化能力与更快的收敛速度。
• 研究数据分布、样本活跃度与模型性能之间的关系。
• 评估数据再生与现有数据处理技术（如去噪与多样化）的互补性。

提出的方法

• 在原始训练数据上训练一个识别模型，基于预训练NMT模型的句级输出概率，将样本分类为活跃或不活跃。
• 将输出概率最低的样本识别为不活跃样本，表明其对训练的贡献最小。
• 仅在活跃样本上训练一个再生模型，并通过前向翻译为不活跃的源句生成新的目标翻译。
• 将再生样本与原始活跃样本结合，用于微调最终的NMT模型。
• 该框架在多种NMT架构（如Transformer、LSTM、DynamicConv）和语言对（En-De、En-Fr）上进行应用。
• 使用BLEU等标准指标及训练时间进行评估，并通过消融实验验证其有效性。

实验结果

研究问题

• RQ1 大规模NMT数据集中是否存在不活跃训练样本？其存在是否依赖于数据分布而非模型架构？
• RQ2 通过前向翻译重用不活跃样本是否能提升NMT模型性能与训练稳定性？
• RQ3 数据再生与现有数据处理技术（如数据去噪与多样化）相比或结合时表现如何？
• RQ4 源-目标对之间的结构不一致性与训练样本活跃度之间存在何种关系？
• RQ5 再生是否能降低困难样本的学习难度并提升模型泛化能力？

主要发现

• 在Transformer-Base上应用时，数据再生使WMT14 En-De的BLEU分数提升0.7，WMT14 En-Fr提升0.5，且在多种模型上均保持一致增益。
• 当与更大模型变体（如Rej–Big）结合时，训练时间最多减少33小时，表明训练效率显著提升。
• 在不同随机种子、模型容量与架构下，约80%的最不活跃样本被稳定识别，证实其稳定性和对数据分布的依赖性。
• 在最不活跃的样本桶中，目标语到源语的真人翻译样本占比显著偏高（分别为69%和59%），表明其更难学习。
• 再生样本使训练更稳定且加速收敛，生成的模型泛化能力更强，且降低了困难样本的学习难度。
• 该方法与现有数据处理方法具有互补性：与数据多样化或去噪结合可进一步提升性能。