[论文解读] Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies

T. Konstantin Rusch, Siddhartha Mishra|arXiv (Cornell University)|Oct 2, 2020

Neural Networks and Applications被引用 23

一句话总结

本文提出了一种新型RNN架构——耦合振子循环神经网络（coRNN），其灵感来源于通过二阶常微分方程（ODEs）建模的耦合非线性振子。通过将这些ODEs的时间离散化为IMEX格式，coRNN通过严格的理论边界确保梯度有界，有效缓解了梯度消失与梯度爆炸问题，同时在序列学习基准测试中保持了具有竞争力的性能。

ABSTRACT

Circuits of biological neurons, such as in the functional parts of the brain can be modeled as networks of coupled oscillators. Inspired by the ability of these systems to express a rich set of outputs while keeping (gradients of) state variables bounded, we propose a novel architecture for recurrent neural networks. Our proposed RNN is based on a time-discretization of a system of second-order ordinary differential equations, modeling networks of controlled nonlinear oscillators. We prove precise bounds on the gradients of the hidden states, leading to the mitigation of the exploding and vanishing gradient problem for this RNN. Experiments show that the proposed RNN is comparable in performance to the state of the art on a variety of benchmarks, demonstrating the potential of this architecture to provide stable and accurate RNNs for processing complex sequential data.

研究动机与目标

• 解决在长序列数据上训练RNN时持续存在的梯度爆炸与梯度消失问题。
• 克服现有方法（如LSTM、GRU和正交RNN）的局限性，这些方法可能仍会遭受梯度不稳定或表达能力下降的问题。
• 开发一种具有理论基础的RNN架构，通过耦合振子动力学的物理直觉确保梯度稳定性。
• 证明所提出的架构在标准序列学习任务中保持高表达能力与具有竞争力的性能。

提出的方法

• 使用一组表示耦合、阻尼和受迫振子的二阶非线性ODE系统来建模RNN动力学。
• 引入速度变量，将二阶系统转换为一阶系统，以提升数值稳定性和实现可行性。
• 对一阶系统应用IMEX（隐式-显式）时间离散化格式，将状态更新隐式处理，非线性激活项显式处理。
• 利用基于能量型李雅普诺夫函数推导的时间步长约束，确保隐藏状态及其梯度的有界性。
• 在可验证条件下（包括阻尼参数ε > 1/2，且时间步长Δt满足特定不等式）证明隐藏状态与梯度的理论边界。
• 实现两种变体：一种采用隐式阻尼（θ̄n = n），另一种采用显式阻尼（θ̄n = n−1），两者在实践中均表现出梯度稳定性。

实验结果

研究问题

• RQ1 基于耦合非线性振子的循环神经网络架构是否能在时间反向传播过程中实现梯度稳定？
• RQ2 尽管施加了梯度边界约束，此类架构是否仍能保持足够的表达能力以在序列学习任务中实现竞争力表现？
• RQ3 隐藏状态与梯度的理论边界如何依赖于时间步长Δt以及阻尼参数ε和γ的选择？
• RQ4 所提出的coRNN架构是否能在长序列上的准确率与训练稳定性方面超越或匹配SOTA RNN模型（如LSTM与GRU）？
• RQ5 阻尼项采用隐式或显式处理方式对梯度稳定性和实际性能有何影响？

主要发现

• coRNN架构在特定条件下实现了对隐藏状态与梯度的严格理论边界，有效防止了梯度爆炸与梯度消失问题。
• 损失函数关于网络参数的梯度被一个与序列长度无关的常数所界定，从而确保了梯度稳定性。
• 对于长期依赖关系，梯度保持远离零值，如梯度表达式中O(Δt^{3/2})项所示，排除了梯度消失的可能性。
• 在隐式阻尼变体中，时间步长Δt必须满足Δt < (2ε − 1)/γ以保证稳定性，该条件比显式阻尼变体的约束更宽松。
• 实验结果表明，coRNN在各类基准测试中实现了与SOTA模型相当的性能，证实了其实际可行性。
• 理论框架确保能量型李雅普诺夫函数随时间递减，为梯度稳定性提供了物理解释基础。