[论文解读] On the difficulty of training Recurrent Neural Networks

Razvan Pascanu, Tomáš Mikolov+1 more|arXiv (Cornell University)|Nov 21, 2012

Neural Networks and Applications参考文献 23被引用 3,783

一句话总结

本文从分析、几何和动力学角度分析了循环神经网络中的梯度消失和梯度爆炸问题，并提出梯度裁剪结合一个消梯度正则化来改善对长期依赖的训练；并在合成任务和真实数据集上对该方法进行了实证验证。

ABSTRACT

There are two widely known issues with properly training Recurrent Neural Networks, the vanishing and the exploding gradient problems detailed in Bengio et al. (1994). In this paper we attempt to improve the understanding of the underlying issues by exploring these problems from an analytical, a geometric and a dynamical systems perspective. Our analysis is used to justify a simple yet effective solution. We propose a gradient norm clipping strategy to deal with exploding gradients and a soft constraint for the vanishing gradients problem. We validate empirically our hypothesis and proposed solutions in the experimental section.

研究动机与目标

• 研究循环神经网络中梯度消失和梯度爆炸的原因。
• 提出通过梯度范数裁剪来缓解梯度爆炸的实用方法。
• 提出一种软消梯度正则化，以在时间反向传播中保持有信息的梯度流。
• 在合成任务和真实世界序列建模基准上对所提出的方法进行实证验证。

提出的方法

• 使用时间展开的乘积和形式推导梯度表达式以突出梯度爆炸。
• 通过雅可比乘积和循环权值矩阵的谱半径来刻画梯度爆炸的条件。
• 提出梯度范数裁剪以在训练过程中限制大梯度范数。
• 引入一种消梯度正则化器，倾向于在时间反向传播时维持梯度范数。
• 使用 Theano 计算梯度并在合成数据和真实数据集上进行验证。

实验结果

研究问题

• RQ1 在具有长期依赖的RNN中是否会出现梯度爆炸？在何种条件下？
• RQ2 梯度范数裁剪是否能稳定训练并实现长期相关性的学习？
• RQ3 软消梯度正则化是否在不损害短期性能的前提下改善对长期依赖的学习？
• RQ4 所提出的方法在合成病理任务和真实世界序列建模数据集上的表现如何？
• RQ5 就性能与泛化而言，与现有策略（如 LSTM、Hessian-free）相比，该方法如何？

主要发现

数据集	数据折叠	SGD	SGD+C	SGD+CR
Piano-midi.de	train	6.87	6.81	7.01
Piano-midi.de	test	7.56	7.53	7.46
Nottingham	train	3.67	3.21	3.24
Nottingham	test	3.80	3.48	3.46
MuseData	train	8.25	6.54	6.51
MuseData	test	7.11	7.00	6.99
Penn Treebank	1 step	1.46	1.34	1.36
Penn Treebank	1 step	1.50	1.42	1.41
Penn Treebank	5 steps	N/A	3.76	3.70
Penn Treebank	5 steps	N/A	3.89	3.74

• 基于范数的梯度裁剪有效控制梯度爆炸并提升训练稳定性。
• 软消梯度正则化有助于保留有用的时间相关性，而不强制梯度流的严格等价。
• 具备裁剪与正则化的 SGD（SGD-CR）能解决需要记忆的长序列任务，包括长度达到200的时间顺序问题。
• 在多声部音乐预测和语言建模任务上，SGD-CR在多个数据集上提升或达到最新结果。
• 梯度裁剪与正则化在合成病理问题和真实世界任务上均产生显著的经验收益，并提升泛化能力。