[论文解读] Equilibrated Recurrent Neural Network: Neuronal Time-Delayed Self-Feedback Improves Accuracy and Stability

Ziming Zhang, Anil Kag+2 more|arXiv (Cornell University)|Mar 2, 2019

Neural Networks and Applications参考文献 46被引用 4

一句话总结

本文提出等时递归神经网络（ERNN），通过受神经元自突触启发的时间延迟自反馈回路，稳定隐藏状态动态，加速训练收敛，并提升测试准确率。通过使用非精确牛顿法求解固定点条件，ERNN 在多个基准测试中实现最先进性能，训练速度更快，泛化能力优于 RNN、FastRNN 和 FastGRNN-LSQ。

ABSTRACT

We propose a novel {\it Equilibrated Recurrent Neural Network} (ERNN) to combat the issues of inaccuracy and instability in conventional RNNs. Drawing upon the concept of autapse in neuroscience, we propose augmenting an RNN with a time-delayed self-feedback loop. Our sole purpose is to modify the dynamics of each internal RNN state and, at any time, enforce it to evolve close to the equilibrium point associated with the input signal at that time. We show that such self-feedback helps stabilize the hidden state transitions leading to fast convergence during training while efficiently learning discriminative latent features that result in state-of-the-art results on several benchmark datasets at test-time. We propose a novel inexact Newton method to solve fixed-point conditions given model parameters for generating the latent features at each hidden state. We prove that our inexact Newton method converges locally with linear rate (under mild conditions). We leverage this result for efficient training of ERNNs based on backpropagation.

研究动机与目标

• 解决传统 RNN 训练过程中因梯度消失或爆炸导致的不稳定性和收敛缓慢问题。
• 通过稳定隐藏状态动态，学习更具判别性的潜在特征，提升推理时的泛化能力。
• 引入受生物学启发的自反馈机制——类似自突触的时间延迟连接，以控制并均衡内部状态演化。
• 开发基于固定点求解的高效训练框架，支持通过均衡动态进行反向传播。
• 证明自反馈可优于传统门控机制，在准确率与训练速度方面均表现更优。

提出的方法

• 在每个 RNN 隐藏状态中引入时间延迟的自反馈连接，修改更新规则，使状态演化趋向于当前输入的平衡点。
• 将隐藏状态更新表述为固定点方程：$\mathbf{h}_t = \tanh(\mathbf{h}_t + \mathbf{V}\mathbf{h}_{t-1} + \mathbf{W}\mathbf{x}_t + \mathbf{b})$，其中 $\mathbf{h}_t$ 通过固定点隐式定义。
• 提出一种新型非精确牛顿法，高效求解固定点条件，在温和条件下实现局部线性收敛。
• 使用常数插值的上采样输入，使每个输入随时间逐渐达到设定点，从而实现稳定的均衡搜索行为。
• 通过固定点求解器的反向传播训练 ERNN，将均衡状态视为参数的可微函数。
• 为每个时间步学习可学习的权重 $\eta$，以控制反馈强度，支持正负反馈，实现更优适应性。

实验结果

研究问题

• RQ1 RNN 中的时间延迟自反馈能否稳定隐藏状态转移并改善训练收敛？
• RQ2 引入类似自突触的反馈是否能带来比标准 RNN 和门控网络更好的泛化能力与更高测试准确率？
• RQ3 非精确牛顿法能否高效求解均衡状态的固定点条件，从而实现可微训练？
• RQ4 学习到的反馈强度 $\eta$ 在不同时间步与数据集上的变化规律如何？其性能是否优于固定或仅正反馈？
• RQ5 ERNN 是否能在训练速度与准确率上超越 FastRNN 和 FastGRNN-LSQ 等最先进 RNN 模型？

主要发现

• 在 Google-30 数据集上，ERNN 准确率比 FastRNN 高 2.50%，且训练速度约快 3 倍。
• 在 Pixel-MNIST 数据集上，ERNN 准确率比 FastRNN 高 3.16%，训练速度提升 6 倍。
• ERNN(K=2) 在 HAR-2 上达到 96.33% 准确率，优于 FastGRNN-LSQ 1%，且训练时间相近。
• 非精确牛顿法展现出局部线性收敛特性，使反向传播过程中固定点求解高效且稳定。
• ERNN 在训练损失收敛速度上显著快于 FastRNN，且最终损失更低，表明优化动态得到改善。
• 学习到的 $\eta$ 值较小，且常为负值，表明自适应反馈（包括抑制）对性能至关重要；不同 $k$ 值下 $\eta$ 的模式在相同数据集上保持一致。