[论文解读] Inferring Dynamical Systems with Long-Range Dependencies through Line Attractor Regularization.

Dominik Schmidt, Georgia Koppe+2 more|arXiv (Cornell University)|Sep 25, 2019

Neural Networks and Applications参考文献 51被引用 6

一句话总结

该论文在基于ReLU的RNN中提出线吸引子正则化，以实现长程依赖和缓慢的动力学时间尺度，克服梯度消失/爆炸问题，同时不损失表达能力。该方法通过将潜在空间的某一部分稳定为线吸引子配置，在顺序MNIST、乘法任务和多时间尺度动力系统重构任务中提升了性能。

ABSTRACT

Vanilla RNN with ReLU activation have a simple structure that lends itself to systematic dynamical systems analysis and interpretation, but they suffer from the exploding vs. vanishing gradients problem. Recent attempts to retain this simplicity while alleviating the gradient problem are based on proper initialization schemes or orthogonality/unitary constraints on the RNN's recurrence matrix, which, however, comes with limitations to its expressive power with regards to dynamical systems phenomena like chaos or multi-stability. Here, we instead suggest a regularization scheme that pushes part of the RNN's latent subspace toward a line attractor configuration that enables long short-term memory and arbitrarily slow time scales. We show that our approach excels on a number of benchmarks like the sequential MNIST or multiplication problems, and enables reconstruction of dynamical systems which harbor widely different time scales.

研究动机与目标

• 解决原始ReLU RNN中的梯度消失和爆炸问题，同时保持其结构简洁性。
• 实现对动力系统中长短期依赖关系和任意缓慢时间尺度的建模。
• 克服对递归矩阵施加正交性或酉约束所带来的限制，这些限制会限制复杂动力学（如混沌或多稳定性）的表达能力。
• 在涉及长程依赖的基准测试中提升性能，例如顺序MNIST和乘法问题。
• 实现对具有广泛时间尺度差异的动力系统更精确的重构。

提出的方法

• 引入一个正则化项，促使RNN隐藏状态空间的一个子空间形成线吸引子，使轨迹沿一维流形稳定。
• 在训练过程中应用此正则化，以在不改变ReLU激活函数或网络架构的前提下，维持长期记忆和缓慢动力学。
• 采用基于投影的公式，通过约束潜在空间与隐藏状态空间中特定方向对齐，来强制实现线吸引子结构。
• 在保持原始ReLU RNN简洁性的同时，实现更丰富的动力学行为，如多稳定性及对固定点的缓慢松弛。
• 使用标准反向传播进行端到端训练，将线吸引子正则化器整合到损失函数中。
• 选择性地将正则化应用于部分隐藏单元或方向，以保留网络在其他区域建模复杂非线性动力学的能力。

实验结果

研究问题

• RQ1 带有线吸引子正则化的简单ReLU RNN能否有效建模长程时间依赖？
• RQ2 线吸引子正则化是否能在不损害训练稳定性的情况下，实现RNN动力学中任意缓慢的时间尺度？
• RQ3 该方法是否能比标准RNN更准确地重构具有广泛时间尺度差异的动力系统？
• RQ4 与正交性或酉约束相比，线吸引子正则化在保留复杂动力学表达能力方面表现如何？
• RQ5 该方法在顺序MNIST和乘法问题等基准任务上的性能提升程度如何？

主要发现

• 所提出的方法在顺序MNIST基准测试中达到最先进性能，表现出改进的泛化能力和长期记忆。
• 成功解决了乘法问题，该任务需要精确的长期记忆和稳定的内部表征。
• 与标准RNN相比，该模型能更准确地重构具有广泛时间尺度差异的动力系统，尤其在捕捉缓慢瞬态方面表现更优。
• 线吸引子正则化使RNN能够在不依赖正交性约束的情况下维持稳定且缓慢的动力学，从而为混沌或多稳定性行为保留了表达能力。
• 在需要长程依赖和缓慢时间尺度动力学的任务中，该方法优于标准ReLU RNN和正交性正则化模型。
• 正则化有效将潜在子空间稳定为线吸引子，实现长短期记忆，同时保持了ReLU-RNN的简洁性和可解释性。