[论文解读] Dynamic Sentence Sampling for Efficient Training of Neural Machine Translation

Rui Wang, Masao Utiyama+1 more|arXiv (Cornell University)|May 1, 2018

Natural Language Processing Techniques参考文献 18被引用 3

一句话总结

本文提出动态句元采样（DSS），一种通过基于训练代价变化动态重采样句子来加速神经机器翻译（NMT）训练的方法。通过优先处理具有高改进潜力的句子并使用回顾机制保留知识，DSS减少了对已充分学习句子的冗余训练，从而实现更快收敛并提升BLEU分数——在50万轮训练后，BLEU分数最高比基线模型高出2.2分。

ABSTRACT

Traditional Neural machine translation (NMT) involves a fixed training procedure where each sentence is sampled once during each epoch. In reality, some sentences are well-learned during the initial few epochs; however, using this approach, the well-learned sentences would continue to be trained along with those sentences that were not well learned for 10-30 epochs, which results in a wastage of time. Here, we propose an efficient method to dynamically sample the sentences in order to accelerate the NMT training. In this approach, a weight is assigned to each sentence based on the measured difference between the training costs of two iterations. Further, in each epoch, a certain percentage of sentences are dynamically sampled according to their weights. Empirical results based on the NIST Chinese-to-English and the WMT English-to-German tasks depict that the proposed method can significantly accelerate the NMT training and improve the NMT performance.

研究动机与目标

• 为解决固定轮次训练在NMT中的低效问题，即已充分学习的句子被无谓地重复训练。
• 通过识别并降低对改进微乎其微的句子的优先级，减少训练时间和计算浪费。
• 通过聚焦于仍具改进潜力的句子，提升NMT性能。
• 通过回顾机制保留已充分学习句子的知识，防止灾难性遗忘。
• 在大规模和噪声数据集（包括WMT和NIST基准）上评估该方法的有效性。

提出的方法

• 该方法基于两个连续迭代中句子级训练代价的相对差异计算动态准则：$ dif_{\langle x,y\rangle}^{i} = \frac{cost_{\langle x,y\rangle}^{i-1} - cost_{\langle x,y\rangle}^{i}}{cost_{\langle x,y\rangle}^{i-1}} $。
• 将该差异归一化至[0,1]区间，形成最终准则：$ criterion_{\langle x,y\rangle}^{i} = \frac{dif_{\langle x,y\rangle}^{i} - \min(dif^{i})}{\max(dif^{i}) - \min(dif^{i})} $，表示进一步改进的可能性。
• 在每个轮次中，句子按其准则值成比例进行采样，实现对高潜力句子的动态重采样。
• 引入两种重采样策略：基于准则得分的加权采样，以及保留部分先前见过句子的回顾机制，以保持知识。
• 该方法避免永久移除句子，从而降低遗忘已学知识的风险。
• 在NIST中文到英文和WMT英文到德文翻译任务上，使用BLEU分数和训练效率指标评估该方法。

实验结果

研究问题

• RQ1 基于训练代价变化的动态句元采样能否在不降低性能的前提下加速NMT训练？
• RQ2 与静态或固定采样基线相比，动态重采样在收敛速度和最终BLEU分数方面表现如何？
• RQ3 所提方法是否能防止因遗忘已充分学习句子而导致的性能下降？
• RQ4 该方法能否检测并减少训练过程中噪声或错位句对的影响？
• RQ5 在大规模和长周期训练的NMT设置中，该方法的有效性如何？

主要发现

• 所提出的DSS方法在NIST ZH-EN任务上，约在26万轮训练后达到38的BLEU分数，比原始NMT模型高出3分。
• 在NIST ZH-EN任务上，DSS相比原始NMT模型提升1.2–2.2分，相比最佳基线模型提升0.9–1.7分。
• 回顾机制优于加权采样，表明其在知识保留方面更优，且性能随时间更稳定。
• 在包含1200万句子的WMT EN-FR任务上，DSS在6轮训练后BLEU提升约0.6分，证明其在大规模数据上的有效性。
• 在NIST ZH-EN语料中加入20%的噪声和错位数据后，经过一个DSS周期，噪声句子比例降至13%，两个周期后降至7%，表明该方法具备检测并过滤噪声样本的能力。
• 与基线方法在BLEU达到峰值后出现性能下降不同，DSS模型保持了稳定性能，表明其显著降低了灾难性遗忘的风险。