[论文解读] Dynamical Isometry and a Mean Field Theory of RNNs: Gating Enables Signal Propagation in Recurrent Neural Networks

Minmin Chen, Jeffrey Pennington+1 more|arXiv (Cornell University)|Jun 14, 2018

Neural Networks and Applications被引用 15

一句话总结

本文提出了一套基于场论与随机矩阵理论的框架，用于分析循环神经网络（RNNs）中的信号传播，引入了minimalRNN——一种简化的门控RNN单元。研究发现，门控机制使可训练初始化区域显著扩大且更具鲁棒性，相比原始RNNs，其在更广范围内保持稳定。本文推导出一种闭式临界初始化方法，可实现动态等距性，显著提升训练速度与性能，且minimalRNN在语言建模任务上的表现与SOTA模型（如GRUs和LSTMs）相当。

ABSTRACT

Recurrent neural networks have gained widespread use in modeling sequence data across various domains. While many successful recurrent architectures employ a notion of gating, the exact mechanism that enables such remarkable performance is not well understood. We develop a theory for signal propagation in recurrent networks after random initialization using a combination of mean field theory and random matrix theory. To simplify our discussion, we introduce a new RNN cell with a simple gating mechanism that we call the minimalRNN and compare it with vanilla RNNs. Our theory allows us to define a maximum timescale over which RNNs can remember an input. We show that this theory predicts trainability for both recurrent architectures. We show that gated recurrent networks feature a much broader, more robust, trainable region than vanilla RNNs, which corroborates recent experimental findings. Finally, we develop a closed-form critical initialization scheme that achieves dynamical isometry in both vanilla RNNs and minimalRNNs. We show that this results in significantly improvement in training dynamics. Finally, we demonstrate that the minimalRNN achieves comparable performance to its more complex counterparts, such as LSTMs or GRUs, on a language modeling task.

研究动机与目标

• 理解为何门控RNN（如LSTMs和GRUs）在实践中优于原始RNN，尽管其表达能力相似。
• 通过分析循环网络中的信号传播与梯度流动，明确门控在提升可训练性方面的作用。
• 基于场论与随机矩阵理论，建立理论框架，以预测RNN中信号可传播的最大时间尺度。
• 推导出一种闭式临界初始化方案，使原始RNN与门控RNN均实现动态等距性，从而改善训练动力学。
• 证明一种极简、简单的门控RNN（minimalRNN）在语言建模任务上的性能可与复杂模型（如LSTMs和GRUs）相媲美。

提出的方法

• 为原始RNN与minimalRNN建立前向信号传播的场论模型，推导出信息可保持的最大时间尺度。
• 应用随机矩阵理论分析minimalRNN的端到端雅可比矩阵，建立前向信号传播与反向梯度流动之间的对偶关系。
• 提出一种临界初始化方案，通过调节权重与门控方差参数，使李雅普诺夫指数χ₁ = 1，从而实现动态等距性。
• 利用该理论预测RNN的可训练区域，并通过序列建模任务上的实证训练动力学进行验证。
• 采用一种简化门控RNN单元（minimalRNN），仅含一个可学习门控，以隔离门控效应与架构复杂度的影响。
• 通过序列预测与语言建模实验验证理论预测，比较不同初始化方案与架构下的训练速度与收敛性。

实验结果

研究问题

• RQ1 与原始RNN相比，门控如何影响循环神经网络的稳定性和可训练性？
• RQ2 在随机初始化后，原始RNN与门控RNN中信号可传播的最大时间尺度是多少？
• RQ3 能否推导出一种闭式初始化方案，使原始RNN与门控RNN均实现动态等距性？
• RQ4 实现动态等距性是否能在实际中显著加快训练速度并提升性能？
• RQ5 能否通过一种极简、简单的门控RNN（minimalRNN）实现与复杂架构（如LSTMs和GRUs）相当的性能？

主要发现

• 原始RNN仅在参数空间中一条一维线（即处于有序-混沌边界处的正交权重）上实现动态等距性，使其对初始化极为敏感。
• minimalRNN可在多维参数子空间中实现动态等距性，展现出显著优于原始RNN的可训练性。
• 临界初始化的RNN（包括原始RNN与minimalRNN）相比非临界初始化，训练速度可提升达两个数量级，原始RNN的收敛步数差异高达16,000步。
• minimalRNN在Penn Treebank语料库上达到89.9的测试困惑度（参数量2000万），与GRUs（89.8）和LSTMs（83.8）相当，尽管其结构极为简洁。
• 在原始RNN中，权重初始化方式（正交初始化 vs. 高斯初始化）对训练速度有显著影响，但在minimalRNN中影响可忽略，证实了门控机制的鲁棒性。
• 理论预测与实证训练动力学高度一致，准确预测了最大可训练时间尺度。