[论文解读] Connecting the Dots Between MLE and RL for Sequence Prediction

Bowen Tan, Zhiting Hu+3 more|arXiv (Cornell University)|Nov 24, 2018

Topic Modeling参考文献 55被引用 13

一句话总结

本文提出了一种统一框架——熵正则化策略优化（ERPO），通过可配置的奖励函数和超参数，将最大似然估计（MLE）、强化学习（RL）以及混合方法如RAM、SPG和数据噪声化视为特例。该框架支持一种动态插值算法，通过从MLE行为渐进过渡到RL行为，实现了机器翻译、文本摘要和游戏模仿学习任务中的最先进性能。

ABSTRACT

Sequence prediction models can be learned from example sequences with a variety of training algorithms. Maximum likelihood learning is simple and efficient, yet can suffer from compounding error at test time. Reinforcement learning such as policy gradient addresses the issue but can have prohibitively poor exploration efficiency. A rich set of other algorithms such as RAML, SPG, and data noising, have also been developed from different perspectives. This paper establishes a formal connection between these algorithms. We present a generalized entropy regularized policy optimization formulation, and show that the apparently distinct algorithms can all be reformulated as special instances of the framework, with the only difference being the configurations of a reward function and a couple of hyperparameters. The unified interpretation offers a systematic view of the varying properties of exploration and learning efficiency. Besides, inspired from the framework, we present a new algorithm that dynamically interpolates among the family of algorithms for scheduled sequence model learning. Experiments on machine translation, text summarization, and game imitation learning demonstrate the superiority of the proposed algorithm.

研究动机与目标

• 建立一个正式的、统一的数学框架，将多种序列预测训练方法（包括MLE、RL和混合方法）统一起来。
• 通过将现有算法解释为广义优化公式的特例，系统性地分析其在探索与学习效率之间的权衡。
• 通过揭示其底层奖励函数与超参数配置，为现有方法的行为提供新的洞见。
• 开发一种新型插值算法，可在训练过程中动态地在MLE与RL模式之间过渡，以提升泛化能力与性能。
• 在多个序列生成任务（包括机器翻译、文本摘要和游戏模仿学习）中，实证验证所提出的框架与算法。

提出的方法

• 提出一种广义的熵正则化策略优化（ERPO）框架，通过可配置的奖励函数与超参数，将MLE、RAM、SPG和数据噪声化统一为特例。
• 将MLE重新表述为仅对训练序列精确匹配给予奖励的狄拉克函数奖励，解释其缺乏探索的原因。
• 表明RAM和SPG等其他方法使用松弛化、局部感知的奖励，可在保持训练稳定性的同时鼓励更广泛的探索。
• 提出一种动态插值算法，通过在训练过程中逐步调整奖励函数与超参数，从MLE式行为向RL式行为过渡，以增强探索。
• 采用调度式训练策略，使模型在训练初期对训练数据具有高置信度，并逐步学习在训练分布之外进行探索以实现泛化。
• 将该框架应用于使用标准架构（如Transformer、LSTM）的序列模型，并采用标准指标（BLEU、ROUGE、RL任务中的回报）进行评估。

实验结果

研究问题

• RQ1 如何在单一优化框架下，正式统一看似不同的序列预测训练方法，如MLE、RAM、SPG和数据噪声化？
• RQ2 这些方法在探索行为与学习效率上的根本差异是什么？它们与奖励函数设计及超参数的关系如何？
• RQ3 统一框架能否启发一种新型训练策略，实现在训练过程中动态平衡利用与探索？
• RQ4 在MLE与RL模式之间进行调度式插值，是否能提升下游序列生成任务的泛化能力与性能？
• RQ5 在多样化的序列建模范例中，所提出的插值算法在样本效率与性能方面相较于现有方法表现如何？

主要发现

• 所提出的ERPO框架在数学上统一了MLE、RAM、SPG和数据噪声化，其差异仅体现在奖励函数与超参数配置上。
• MLE在数学上等价于使用仅接受精确匹配的狄拉克函数奖励，解释了其脆弱性与泛化能力差的原因。
• 在IWSLT2014德英翻译任务中，插值算法相比MLE实现了1.36 BLEU点的性能提升，优于RAM、Self-critic和Scheduled Sampling。
• 在文本摘要任务中，该插值方法在所有三个ROUGE指标（-1, -2, -L）上均取得最佳结果，甚至优于在该设置下表现不佳的RAM。
• 在专家示范数据有限（1或4条）的游戏模仿学习任务中，插值算法显著优于基线GAIL，尤其在低数据场景下优势明显。
• 该框架系统性地揭示了探索与学习效率之间的权衡：MLE效率高但脆弱，而RL更具探索性但样本效率低。