[论文解读] SEARNN: Training RNNs with Global-Local Losses

Rémi Leblond, Jean-Baptiste Alayrac+2 more|arXiv (Cornell University)|Jun 14, 2017

Topic Modeling参考文献 18被引用 13

一句话总结

SeaRnn 提出了一种 RNN 的新型训练算法，通过结构化预测的 '学习搜索'（L2S）框架推导出的全局-局部损失，使训练与推理时解码对齐，从而改善泛化性能。该方法在光学字符识别（OCR）、拼写纠错和机器翻译任务上均优于最大似然估计（MLE），且无需预热启动，即使在大规模、大词汇量场景下使用子采样策略也能保持优异表现。

ABSTRACT

We propose SEARNN, a novel training algorithm for recurrent neural networks (RNNs) inspired by the "learning to search" (L2S) approach to structured prediction. RNNs have been widely successful in structured prediction applications such as machine translation or parsing, and are commonly trained using maximum likelihood estimation (MLE). Unfortunately, this training loss is not always an appropriate surrogate for the test error: by only maximizing the ground truth probability, it fails to exploit the wealth of information offered by structured losses. Further, it introduces discrepancies between training and predicting (such as exposure bias) that may hurt test performance. Instead, SEARNN leverages test-alike search space exploration to introduce global-local losses that are closer to the test error. We first demonstrate improved performance over MLE on two different tasks: OCR and spelling correction. Then, we propose a subsampling strategy to enable SEARNN to scale to large vocabulary sizes. This allows us to validate the benefits of our approach on a machine translation task.

研究动机与目标

• 为解决 RNN 训练中最大似然估计（MLE）与推理时解码之间的差异，特别是暴露偏差和代理损失质量差的问题。
• 通过在训练中引入结构化测试误差信息，设计全局-局部损失，以提升 RNN 的泛化能力。
• 实现 RNN 的端到端训练，从零开始训练，无需依赖预训练模型，从而克服基于强化学习（RL）方法的局限性。
• 通过高效的子采样策略，将该方法扩展至大规模词汇量任务（如神经机器翻译）。

提出的方法

• SeaRnn 引入一种全局-局部损失，结合每步的局部损失与基于与推理时相同解码策略的确定性展开（roll-outs）所获得的全局序列级代价。
• 在训练期间对候选序列进行结构化搜索以计算序列级代价，然后通过可微分近似方法反向传播梯度。
• 在展开过程中使用固定的解码策略（如贪婪搜索或束搜索）计算代价，确保与推理时行为一致，并避免损失中的随机性。
• 引入子采样策略，仅对部分序列进行展开，从而降低计算成本，同时在保持性能的前提下实现大词汇量场景下的可扩展性。
• 全局-局部损失被定义为局部交叉熵项与基于完整预测序列的全局代价项的加权和，相比 MLE 能提供更优的梯度传播。
• 通过在反向传播过程中固定代价值来近似梯度，即使代价函数不可微，也能实现高效优化。

实验结果

研究问题

• RQ1 与 MLE 相比，基于结构化预测推导出的全局-局部损失是否能提升 RNN 在序列建模任务上的性能？
• RQ2 SeaRnn 是否能通过提供优于 RL 或 MLE 方法的梯度信号，彻底消除 RNN 训练中对预热启动的需求？
• RQ3 该全局-局部损失机制能否扩展至大规模词汇量任务（如神经机器翻译）？
• RQ4 子采样策略在高维序列空间中对性能和训练效率有何影响？
• RQ5 与随机采样相比，使用确定性展开是否能更显著提升训练与推理时行为的一致性？

主要发现

• SeaRnn 在 OCR 和拼写纠错任务上显著优于 MLE，证明其在无需预热启动的情况下实现了更好的泛化能力。
• 该方法在大规模机器翻译任务上达到最先进性能，验证了其在大规模场景下的可扩展性与有效性。
• 子采样策略显著缩短了训练时间，同时保持了相对于 MLE 的性能优势，使该方法可应用于大词汇量场景。
• 与基于演员-评论家或 REINFORCE 的方法不同，SeaRnn 无需额外的基线模型或评论家模型，简化了训练流程并降低了复杂度。
• 通过使用与推理时一致的确定性展开，SeaRnn 避免了基于强化学习方法中因随机策略梯度引入的不一致性。
• 全局-局部损失设计使模型能有效利用结构化误差信号，其梯度信号在序列各步间的分布优于 MLE 或标准强化学习方法。