[论文解读] Competence-based Curriculum Learning for Neural Machine Translation

Emmanouil Antonios Platanios, Otilia Stretcu+3 more|arXiv (Cornell University)|Mar 23, 2019

Natural Language Processing Techniques参考文献 26被引用 16

一句话总结

本文提出了一种基于能力的神经机器翻译课程学习框架，通过基于估计难度和模型能力动态过滤训练样本，实现更快的收敛速度和更高的性能。通过先在较简单的样本上训练，并逐步引入更难的样本，该方法将训练时间最多减少70%，并将BLEU分数提升最多2.2分，尤其在极简超参数调优下显著提升了Transformer模型的性能。

ABSTRACT

Current state-of-the-art NMT systems use large neural networks that are not only slow to train, but also often require many heuristics and optimization tricks, such as specialized learning rate schedules and large batch sizes. This is undesirable as it requires extensive hyperparameter tuning. In this paper, we propose a curriculum learning framework for NMT that reduces training time, reduces the need for specialized heuristics or large batch sizes, and results in overall better performance. Our framework consists of a principled way of deciding which training samples are shown to the model at different times during training, based on the estimated difficulty of a sample and the current competence of the model. Filtering training samples in this manner prevents the model from getting stuck in bad local optima, making it converge faster and reach a better solution than the common approach of uniformly sampling training examples. Furthermore, the proposed method can be easily applied to existing NMT models by simply modifying their input data pipelines. We show that our framework can help improve the training time and the performance of both recurrent neural network models and Transformers, achieving up to a 70% decrease in training time, while at the same time obtaining accuracy improvements of up to 2.2 BLEU.

研究动机与目标

• 减少神经机器翻译系统中的训练时间与超参数敏感性，尤其针对Transformer模型。
• 通过结构化的训练数据排序避免陷入不良局部最优，从而提升模型性能。
• 开发一种通用且易于应用的课程学习方法，仅需一个可调超参数。
• 在小批量训练和无需复杂学习率调度的情况下，实现RNN和Transformer模型的有效训练。
• 提供一种有原则的、自动化的课程学习框架，优于基于启发式或离散化的方法。

提出的方法

• 通过基于n-gram频率的句子稀有度启发式方法估计每个训练样本的难度。
• 模型能力通过最近小批量的平均损失来衡量，反映学习进展。
• 训练过程中仅使用难度 ≤ 当前模型能力的样本，确保模型不会被过度负荷。
• 课程阶段持续固定步数（一个可调超参数），之后切换为使用全部训练数据。
• 通过修改数据管道应用该框架，无需对现有神经机器翻译模型进行架构修改。
• 该方法具有通用性，可扩展至其他难度度量，如对齐分数或预训练语言模型嵌入。

实验结果

研究问题

• RQ1 与均匀采样相比，动态的、基于能力的课程学习策略是否能减少训练时间并提升神经机器翻译性能？
• RQ2 所提出的方法对Transformer模型的训练动态和收敛性有何影响，而Transformer模型以训练困难著称？
• RQ3 该框架在多大程度上减少了对专用启发式方法（如大批次或复杂学习率调度）的依赖？
• RQ4 该方法是否能在不同神经机器翻译架构（如RNN和Transformer）上泛化？
• RQ5 在仅需极少超参数调优的情况下，该框架是否仍能实现一致的性能提升？

主要发现

• 与标准训练相比，所提方法将训练时间最多减少70%，显著优于此前报道的最高46%减少量。
• 该框架将模型性能提升最多2.2 BLEU分，超过Zhang等人（2018）在大量超参数调优后报告的1.55 BLEU提升。
• 该方法在训练Transformer模型方面尤为有效，可在小批量设置下实现最先进性能，且无需复杂学习率调度。
• 该方法减少了对启发式工程的依赖，如手动设计的课程调度或特殊优化配置。
• 即使应用于RNN和Transformer架构，该方法在性能和收敛速度上也优于均匀采样。
• 该框架在不同数据集和模型类型上均表现出鲁棒性和有效性，展现出超越特定架构的泛化能力。