[论文解读] Identifying nonlinear dynamical systems with multiple time scales and long-range dependencies

Dominik Schmidt, Georgia Koppe+3 more|arXiv (Cornell University)|Oct 8, 2019

Neural dynamics and brain function参考文献 66被引用 10

一句话总结

该论文提出了一种正则化的分段线性RNN（rPLRNN），通过流形吸引子正则化来稳定梯度，并捕捉非线性动力系统中的长程依赖关系和多时间尺度特性。通过在隐藏状态空间的某一部分强制实现平面吸引子，该方法使普通的ReLU RNN能够以高精度重构复杂动力学，其性能优于标准RNN，并与LSTM相当，同时保持了数学上的可分析性和可解释性。

ABSTRACT

A main theoretical interest in biology and physics is to identify the nonlinear dynamical system (DS) that generated observed time series. Recurrent Neural Networks (RNNs) are, in principle, powerful enough to approximate any underlying DS, but in their vanilla form suffer from the exploding vs. vanishing gradients problem. Previous attempts to alleviate this problem resulted either in more complicated, mathematically less tractable RNN architectures, or strongly limited the dynamical expressiveness of the RNN. Here we address this issue by suggesting a simple regularization scheme for vanilla RNNs with ReLU activation which enables them to solve long-range dependency problems and express slow time scales, while retaining a simple mathematical structure which makes their DS properties partly analytically accessible. We prove two theorems that establish a tight connection between the regularized RNN dynamics and its gradients, illustrate on DS benchmarks that our regularization approach strongly eases the reconstruction of DS which harbor widely differing time scales, and show that our method is also en par with other long-range architectures like LSTMs on several tasks.

研究动机与目标

• 在不牺牲模型简洁性或动力学可解释性的情况下，解决普通RNN中的梯度消失/爆炸问题。
• 通过最小的架构修改，使模型能够重构具有广泛时间尺度差异和长程依赖关系的非线性动力系统。
• 提供一个数学上可分析的RNN框架，使得关键动力学特性（如不动点、吸引子）能够进行解析分析。
• 证明朝向流形吸引子（平面或直线）的正则化能够增强对慢时间尺度和长程依赖关系的学习能力。
• 在基准任务上实现与LSTM相当的性能，同时保持标准RNN的简洁性和可解释性。

提出的方法

• 提出一种正则化方案，将RNN隐藏状态的子集约束在平面吸引子上，以稳定长期动力学。
• 使用带有ReLU激活函数的分段线性RNN（PLRNN），以确保数学上的可处理性，并能对动力学特征进行解析访问。
• 在损失函数中引入正则化项，惩罚对低维子空间（如平面）的偏离，从而有效构建一个边际稳定的流形。
• 形式化证明正则化RNN动力学与其梯度之间的紧密联系，表明该正则化可防止梯度消失或爆炸。
• 将该方法应用于重构包含快慢分量的动力系统（如ECG-like信号、Lorenz系统），并与标准RNN、LSTM以及正交/权重正则化变体进行性能比较。
• 使用功率谱之间的KL散度和MSE对不同频带和正则化强度下的重构质量进行定量评估。

实验结果

研究问题

• RQ1 在适当正则化下，仅使用ReLU激活的简单非门控RNN架构是否能够重构具有广泛分离时间尺度的非线性动力系统？
• RQ2 在隐藏状态空间的某一部分强制实现流形吸引子（平面或直线）是否能稳定梯度，并在不增加架构复杂度的情况下实现长程依赖关系的学习？
• RQ3 与标准L2正则化、正交性正则化或完整权重正则化相比，所提出的正则化在重构准确性和稳定性方面表现如何？
• RQ4 rPLRNN在多大程度上能够同时恢复慢速动力学（如ECG中的T波）和快速瞬态（如尖峰）？
• RQ5 rPLRNN是否能在保持分析可访问性和更少参数的同时，实现与LSTM相当的性能？

主要发现

• 尽管参数量显著更少，rPLRNN在序列MNIST和ECG-like动力系统上的重构性能与LSTM相当。
• 在中等正则化强度τ下，真实与生成状态空间分布之间的KL散度最小化，且在τ的多个取值范围内性能保持稳定，表明其具有鲁棒性。
• 标准L2正则化PLRNN（L2fPLRNN）和正交性正则化PLRNN（oPLRNN）无法重构复杂动力学，因为它们破坏了慢速动力学所必需的流形吸引子结构。
• rPLRNN成功捕捉了ECG-like信号中的快速（尖峰状）和慢速（T波状）分量，高频分量的归一化MSE低于0.15，低频分量的归一化MSE低于0.10。
• 该方法能够准确重构混沌系统（如Lorenz吸引子），rPLRNN生成的轨迹与真实系统状态空间演化高度吻合。
• 即使LSTM的参数量与rPLRNN相同（M/4），rPLRNN在平均性能上仍优于LSTM，表明其在动力系统重构中具有更高的样本效率和泛化能力。