[论文解读] Advances in Optimizing Recurrent Networks

Yoshua Bengio, Nicolas Boulanger-Lewandowski+1 more|arXiv (Cornell University)|Dec 4, 2012

Music and Audio Processing被引用 10

一句话总结

该论文通过结合梯度裁剪、漏失整合、自适应动量、改进的输出建模以及稀疏梯度正则化，推进了循环神经网络（RNN）的训练。这些技术共同提升了长期依赖任务上的优化性能，使经过增强的随机梯度下降（SGD）在文本和音乐预测基准测试中达到或超越Hessian-Free优化的性能。

ABSTRACT

After a more than decade-long period of relatively little research activity in the area of recurrent neural networks, several new developments will be reviewed here that have allowed substantial progress both in understanding and in technical solutions towards more efficient training of recurrent networks. These advances have been motivated by and related to the optimization issues surrounding deep learning. Although recurrent networks are extremely powerful in what they can in principle represent in terms of modelling sequences,their training is plagued by two aspects of the same issue regarding the learning of long-term dependencies. Experiments reported here evaluate the use of clipping gradients, spanning longer time ranges with leaky integration, advanced momentum techniques, using more powerful output probability models, and encouraging sparser gradients to help symmetry breaking and credit assignment. The experiments are performed on text and music data and show off the combined effects of these techniques in generally improving both training and test error.

研究动机与目标

• 为解决由于优化景观不佳以及长序列中梯度消失/爆炸而导致RNN优化长期存在的挑战。
• 通过结合多种优化技术以稳定并加速学习，提升RNN的泛化能力和训练效率。
• 证明经过增强的SGD通过简单修改即可在序列建模任务中与Hessian-Free等二阶方法性能相当。
• 评估这些技术在包括文本和符号音乐在内的多样化序列数据上对训练误差和测试误差的影响。

提出的方法

• 通过基于一次数据遍历中梯度范数平均值的阈值实施梯度裁剪，防止反向传播过程中的梯度爆炸。
• 通过允许部分隐藏单元保持与过去状态的残差连接，引入漏失整合，提升长期记忆保持能力。
• 采用高级动量技术，自适应学习率和动量调度通过在验证集上进行随机搜索进行调优。
• 通过正则化和随机采样鼓励梯度稀疏性，有助于打破对称性并实现更有效的信用分配。
• 使用改进的输出概率模型（如NADE和基于RBM的输出），以更好地捕捉复杂的序列分布。
• 实验中使用40–150步的序列长度，并在相同序列（如歌曲）内保持隐藏状态，以保留时间上下文。

实验结果

研究问题

• RQ1 对随机梯度下降进行简单修改是否能显著提升RNN训练的稳定性和性能？
• RQ2 增强后的SGD在RNN训练中能在多大程度上与Hessian-Free等二阶优化方法相媲美？
• RQ3 梯度裁剪、漏失整合和稀疏梯度如何共同影响RNN中长期依赖的优化？
• RQ4 改进的输出建模和动量调度是否能降低序列建模任务中的泛化误差？
• RQ5 这些技术在字符级和词级语言建模任务中是否均有效？

主要发现

• 在Penn Treebank语料库上，采用裁剪、修正单元和稀疏梯度的增强SGD将下一个词预测的测试困惑度降低至128.35，优于标准SGD（145.16）。
• 在字符级建模中，最佳RNN-NADE模型在SGD+CRM下实现测试困惑度32.50，优于标准SGD（145.16），并接近Hessian-Free性能。
• 在音乐预测任务中，增强的RNN模型实现测试对数似然-6.32，优于标准SGD的-7.00，表现出一致的性能提升。
• 梯度裁剪、漏失单元和自适应动量的组合显著降低了训练误差，并在所有数据集上改善了泛化性能，表明损失曲面得到更好优化。
• 结果表明，这些技术使SGD在性能上可与Hessian-Free优化（一种以卓越RNN训练性能著称的二阶方法）相匹敌。
• 通过随机搜索进行超参数调优显著提升了模型性能，最优设置包括200–500个隐藏单元、学习率在0.01至0.5之间，以及25–50%的漏失单元。