[论文解读] Boosting Neural Machine Translation

Dakun Zhang, Jun-Gi Kim+2 more|arXiv (Cornell University)|Dec 19, 2016

Natural Language Processing Techniques参考文献 19被引用 16

一句话总结

该论文提出了一种神经机器翻译（NMT）的数据增强方法，通过基于实例难度（以困惑度衡量）动态重加权训练数据，提高了训练效率和翻译准确率。通过在每个周期中仅选择困惑度最高的前80%的句子对进行训练，该方法在不修改神经网络架构的前提下，实现了1.63 BLEU的提升，同时将训练时间减少了20%。

ABSTRACT

Training efficiency is one of the main problems for Neural Machine Translation (NMT). Deep networks need for very large data as well as many training iterations to achieve state-of-the-art performance. This results in very high computation cost, slowing down research and industrialisation. In this paper, we propose to alleviate this problem with several training methods based on data boosting and bootstrap with no modifications to the neural network. It imitates the learning process of humans, which typically spend more time when learning "difficult" concepts than easier ones. We experiment on an English-French translation task showing accuracy improvements of up to 1.63 BLEU while saving 20% of training time.

研究动机与目标

• 解决当前最先进的NMT系统所面临的高计算成本和长训练时间问题。
• 在不修改神经网络架构的前提下，提高训练效率和模型收敛稳定性。
• 探究优先处理‘困难’训练样本是否能带来更好的泛化能力和更快的收敛速度。
• 开发一种以数据为中心的训练策略，模拟人类学习过程，为困难实例分配更多训练时间。

提出的方法

• 在每个训练周期结束后，选择困惑度最高的前80%的训练实例组成下一个训练批次。
• 困惑度按每个训练批次计算，并用作实例难度的代理指标，最终实验中未进行归一化处理。
• 该方法不修改神经网络，因此可与任何NMT框架和训练设置兼容。
• 训练策略随时间动态重加权数据，强调困难样本，同时减少对简单样本的依赖。
• 该方法以数据增强的方式应用，即在每个周期中对最困难的样本子集进行模型训练。
• 通过在多种训练策略（包括基线、增强、减少和自举）下使用标准BLEU分数和训练时间指标进行评估。

实验结果

研究问题

• RQ1 基于实例难度重加权训练数据是否能在减少训练时间的同时提升NMT性能？
• RQ2 将训练重点放在高困惑度（困难）样本上是否能实现更快的收敛和更好的泛化能力？
• RQ3 训练子集大小（例如80%与100%）如何影响翻译质量和训练效率？
• RQ4 该性能提升在不同训练周期和初始化随机种子下是否稳定？
• RQ5 该方法是否可普遍应用于不同NMT架构和训练框架，而无需修改网络结构？

主要发现

• 所提方法在基线系统基础上实现了1.63 BLEU的提升，同时将训练数据使用量减少了20%。
• ‘减少’策略（每个周期仅使用最困难的80%样本）在准确率和效率方面均优于基线和其他策略。
• 系统收敛更快，于第14个周期达到峰值性能，而基线系统在第16个周期才达到，表明训练稳定性得到改善。
• ‘增强’策略（增加10%数据）使BLEU提升了1.49分，表明在极小数据增量下仍能获得一致收益。
• ‘自举’策略（使用完整数据集并动态选择）实现了0.87 BLEU的提升，且性能随时间保持稳定。
• 将四种训练策略中最佳模型进行集成，额外获得了0.92 BLEU的提升，最终得分达到55.04。