[论文解读] Learning Longer Memory in Recurrent Neural Networks

Tomáš Mikolov, Armand Joulin+3 more|arXiv (Cornell University)|Dec 24, 2014

Neural Networks and Applications被引用 18

一句话总结

本文提出对标准循环神经网络（RNNs）进行一种简单的架构修改，通过使部分循环权重矩阵接近单位矩阵，从而实现长期依赖关系的学习，形成一种持续记忆。该方法仅使用随机梯度下降训练，即可在语言建模任务上达到与LSTM网络相当的性能，证明了梯度消失问题并不必然阻碍RNN实现有效的长期学习。

ABSTRACT

Recurrent neural network is a powerful model that learns temporal patterns in sequential data. For a long time, it was believed that recurrent networks are difficult to train using simple optimizers, such as stochastic gradient descent, due to the so-called vanishing gradient problem. In this paper, we show that learning longer term patterns in real data, such as in natural language, is perfectly possible using gradient descent. This is achieved by using a slight structural modification of the simple recurrent neural network architecture. We encourage some of the hidden units to change their state slowly by making part of the recurrent weight matrix close to identity, thus forming kind of a longer term memory. We evaluate our model in language modeling experiments, where we obtain similar performance to the much more complex Long Short Term Memory (LSTM) networks (Hochreiter & Schmidhuber, 1997).

研究动机与目标

• 解决长期存在的观点，即由于梯度消失问题，RNN无法学习长期依赖关系。
• 探究像随机梯度下降这样的简单优化方法是否能有效训练RNN以学习长期时间模式。
• 提出一种最小的架构修改，以增强记忆持久性，同时不增加模型复杂度。
• 在不使用复杂架构（如LSTM）的前提下，实现与之相当的性能。

提出的方法

• 提出一种改进的RNN架构，其中部分隐藏单元使用接近单位矩阵的循环权重矩阵进行更新。
• 使这些单元能够在多个时间步中保持其状态，从而有效形成长期记忆存储池。
• 使用标准随机梯度下降进行训练，避免使用复杂的优化方案。
• 保持标准RNN的递推方程，但修改循环权重矩阵，使其包含一个接近单位矩阵的成分。
• 使用时间反向传播进行端到端训练，损失函数和输出层的架构无需改变。

实验结果

研究问题

• RQ1 标准随机梯度下降能否训练RNN以学习序列数据中的长期依赖关系？
• RQ2 一种最小的架构修改——使部分循环权重矩阵接近单位矩阵——是否能在RNN中实现持久记忆？
• RQ3 该改进RNN在语言建模任务上的性能与LSTM相比如何？
• RQ4 是否可以在不引入复杂记忆门控或单元状态的情况下缓解梯度消失问题？

主要发现

• 该改进RNN仅使用随机梯度下降即可有效学习长期依赖关系，反驳了长期存在的观点，即此类训练在技术上不可行。
• 该模型在语言建模任务上的性能与结构复杂得多的LSTM网络相当。
• 关键创新点——为选定隐藏单元使用接近单位矩阵的循环权重矩阵——成功构建了一种长期记忆形式。
• 该方法无需额外超参数或复杂组件，因此比LSTM更简单、更高效。