[论文解读] DizzyRNN: Reparameterizing Recurrent Neural Networks for Norm-Preserving Backpropagation

Victor D. Dorobantu, Per Andre Stromhaug+1 more|arXiv (Cornell University)|Dec 13, 2016

Speech Recognition and Synthesis参考文献 7被引用 22

一句话总结

DizzyRNN 通过使用 Givens 旋转对循环神经网络进行重参数化，以强制实现正交权重矩阵，并采用绝对值函数作为非线性激活，确保反向传播过程中的范数保持不变。该方法消除了梯度消失和梯度爆炸问题，即使参数量更少且计算复杂度未增加，其在复制任务上的性能也优于标准 RNN、恒等初始化 RNN 和 LSTM。

ABSTRACT

The vanishing and exploding gradient problems are well-studied obstacles that make it difficult for recurrent neural networks to learn long-term time dependencies. We propose a reparameterization of standard recurrent neural networks to update linear transformations in a provably norm-preserving way through Givens rotations. Additionally, we use the absolute value function as an element-wise non-linearity to preserve the norm of backpropagated signals over the entire network. We show that this reparameterization reduces the number of parameters and maintains the same algorithmic complexity as a standard recurrent neural network, while outperforming standard recurrent neural networks with orthogonal initializations and Long Short-Term Memory networks on the copy problem.

研究动机与目标

• 解决循环神经网络中阻碍长期依赖学习的梯度消失和梯度爆炸问题。
• 开发一种 RNN 的重参数化方法，在不增加算法复杂度的前提下保持反向传播过程中的梯度范数。
• 通过强制实现正交权重矩阵和范数保持的非线性激活，提升长序列任务上的泛化能力和训练稳定性。
• 在保持模型表达能力的同时，实现具有可证明梯度稳定性的 RNN 高效训练。

提出的方法

• 通过 Givens 旋转重参数化标准 RNN，以保持正交性的方式更新权重矩阵，从而维持梯度范数。
• 使用绝对值函数作为逐元素非线性激活，确保反向传播信号的范数得以保持。
• 将正交矩阵表示为多个 Givens 旋转的乘积，每个旋转仅依赖于一个旋转角度，从而实现高效且可微分的更新。
• 在损失函数中引入奇异值正则化项，以惩罚奇异值偏离 1 的情况，从而实现对表达能力的可控调节。
• 通过对角缩放和旋转分量执行矩阵-向量乘法，利用链式法则和逐元素导数计算梯度。
• 在保持与标准 RNN 相同的时间和空间复杂度的同时，通过正交变换和绝对值非线性激活实现范数保持的反向传播。

实验结果

研究问题

• RQ1 使用 Givens 旋转和绝对值非线性激活对 RNN 进行重参数化，能否消除梯度消失和梯度爆炸问题？
• RQ2 强制实现范数保持的反向传播是否能提升长序列任务（如复制问题）上的性能？
• RQ3 该方法能否在保持与标准 RNN 相同计算复杂度的同时，实现更优的训练稳定性和准确性？
• RQ4 DizzyRNN 在复制任务上的性能与标准 RNN、恒等初始化 RNN 和 LSTM 相比如何？

主要发现

• DizzyRNN 在不到 100 个周期内即在复制问题上达到接近完美的准确率，显著优于标准 RNN、恒等初始化 RNN 和 LSTM。
• 当隐藏状态大小为 128 且使用 10 个打包的 Givens 旋转时，该模型在复制任务上的测试准确率接近 100%，而其他模型的性能在 20% 以下停滞或无法超越随机基线。
• DizzyRNN 在 90 个时间步内保持了梯度范数的稳定性，有效防止了反向传播过程中的信号衰减或爆炸。
• 该方法在减少参数数量的同时，保持了与标准 RNN 相同的算法复杂度。
• 奇异值正则化允许对正交性的偏离进行可控调节，其中 λ=∞ 强制实现严格正交性，而 λ=0 允许奇异值无界变化。
• 使用绝对值非线性激活有效保持了反向传播梯度的范数，从而促进了训练动力学的稳定性。