[论文解读] Improved memory in recurrent neural networks with sequential non-normal dynamics

A. Emin Orhan, Xaq Pitkow|arXiv (Cornell University)|May 31, 2019

Neural Networks and Applications参考文献 21被引用 6

一句话总结

本文提出通过序列非正态动力学——具体而言，链式前馈权重结构——而非正交矩阵来初始化循环神经网络（RNNs），以改善长期记忆。通过最大化信噪比（SNR）而非范数保持，非正态RNN在序列任务中表现优于正交对应方法，且经过训练的普通RNN和LSTM在循环权重中显现出非正态、链式结构的特征，尤其在tanh更新门中表现明显。

ABSTRACT

Training recurrent neural networks (RNNs) is a hard problem due to degeneracies in the optimization landscape, a problem also known as vanishing/exploding gradients. Short of designing new RNN architectures, previous methods for dealing with this problem usually boil down to orthogonalization of the recurrent dynamics, either at initialization or during the entire training period. The basic motivation behind these methods is that orthogonal transformations are isometries of the Euclidean space, hence they preserve (Euclidean) norms and effectively deal with vanishing/exploding gradients. However, this ignores the crucial effects of non-linearity and noise. In the presence of a non-linearity, orthogonal transformations no longer preserve norms, suggesting that alternative transformations might be better suited to non-linear networks. Moreover, in the presence of noise, norm preservation itself ceases to be the ideal objective. A more sensible objective is maximizing the signal-to-noise ratio (SNR) of the propagated signal instead. Previous work has shown that in the linear case, recurrent networks that maximize the SNR display strongly non-normal, sequential dynamics and orthogonal networks are highly suboptimal by this measure. Motivated by this finding, here we investigate the potential of non-normal RNNs, i.e. RNNs with a non-normal recurrent connectivity matrix, in sequential processing tasks. Our experimental results show that non-normal RNNs outperform their orthogonal counterparts in a diverse range of benchmarks. We also find evidence for increased non-normality and hidden chain-like feedforward motifs in trained RNNs initialized with orthogonal recurrent connectivity matrices.

研究动机与目标

• 通过超越正交权重初始化，解决RNN中的梯度消失/爆炸问题。
• 探究非正态循环动力学——特别是通过非正交、序列化权重结构实现的瞬态信号放大——是否能改善RNN的记忆能力。
• 探索此类非正态动力学是否在训练过程中自然地出现在RNN和LSTM中，即使其初始权重为正交。
• 证明非正态初始化器可作为有效的归纳偏置，提升序列学习任务的性能。

提出的方法

• 提出一种非正态初始化器，使循环矩阵中形成链式、前馈权重结构，以促进瞬态信号放大。
• 使用费雪记忆矩阵（FMM）量化记忆容量，其中J(k)衡量关于过去信号的信息量，J_tot为总记忆容量。
• 使用非正态初始化器训练普通RNN，并在序列基准测试中与正交和单位矩阵初始化器进行性能对比。
• 分析训练后的RNN和LSTM权重矩阵，检测结构特征，特别是显示隐藏前馈链的非对称权重分布。
• 为LSTM设计一种混合初始化器，对更新门（tanh）应用链式初始化，对其他门（sigmoid）应用单调型配置。
• 在字符级语言建模任务（如PTB、enwik8）上评估性能，以衡量泛化能力和训练稳定性。

实验结果

研究问题

• RQ1 与正交初始化相比，具有序列化链式权重结构的非正态循环动力学是否能提升普通RNN的记忆容量？
• RQ2 在训练过程中，初始为正交的RNN和LSTM是否自然发展出非正态、链式权重结构？
• RQ3 能否利用训练模型中此类非正态特征的出现，设计出性能更优的初始化器？
• RQ4 在门控RNN如LSTM中，非正态初始化器是否具有性能优势？若存在，应应用于何处？
• RQ5 在非线性与噪声共存的条件下，最大化信噪比（SNR）是否比范数保持更有效？

主要发现

• 采用链式初始化的非正态RNN在一系列序列基准测试中优于正交和单位矩阵初始化的RNN，展现出更优的长期记忆能力。
• 初始为正交的训练普通RNN在循环权重中发展出隐藏的链式前馈结构，尤其在tanh门中表现明显，表明非正态动力学的自然涌现。
• 在LSTM中，更新门（tanh）内部的循环权重矩阵呈现链式结构，而输入门、遗忘门和输出门的矩阵则表现出单调、非链式结构。
• 混合初始化器——对更新门应用链式初始化，对其他门应用单调配置——在字符级PTB和enwik8任务上的性能优于标准初始化器。
• 非正态初始化器带来的性能增益在普通RNN中最为显著，而门控架构如LSTM受益较少，表明架构复杂性可能限制此类归纳偏置的影响。
• 本研究证实，能瞬时放大信号的非正态动力学，相较于保持范数的正交动力学，在噪声非线性系统中更具记忆效能。