[论文解读] Dynamical Systems and Neural Networks

Akshunna S. Dogra|arXiv (Cornell University)|Apr 20, 2020

Model Reduction and Neural Networks参考文献 5被引用 4

一句话总结

该论文提出了一种基于Koopman算子理论（KOT）的框架，通过利用Koopman算子的谱特性，加速神经网络（NN）求解器在动力系统中的训练过程。通过从数据中识别Koopman特征函数和特征模式，该方法降低了计算成本，实现了高效、无监督的训练，同时保持了基于NN的系统演化函数近似方法的精度和可微性。

ABSTRACT

Neural Networks (NNs) have been identified as a potentially powerful tool in the study of complex dynamical systems. A good example is the NN differential equation (DE) solver, which provides closed form, differentiable, functional approximations for the evolution of a wide variety of dynamical systems. A major disadvantage of such NN solvers can be the amount of computational resources needed to achieve accuracy comparable to existing numerical solvers. We present new strategies for existing dynamical system NN DE solvers, making efficient use of the extit{learnt} information, to speed up their training process, while still pursuing a completely unsupervised approach. We establish a fundamental connection between NN theory and dynamical systems theory via Koopman Operator Theory (KOT), by showing that the usual training processes for Neural Nets are fertile ground for identifying multiple Koopman operators of interest. We end by illuminating certain applications that KOT might have for NNs in general.

研究动机与目标

• 降低训练神经网络求解器在动力系统中的高计算成本，同时保持精度。
• 建立神经网络训练与Koopman算子理论（KOT）之间的基本联系。
• 通过利用Koopman谱信息实现NN的高效无监督训练，以实现误差校正和收敛加速。
• 证明基于Koopman的训练策略在计算效率方面可优于标准的基于梯度的方法。
• 探索Koopman模式和特征函数作为识别和校正基于NN的动力系统求解器预测误差的工具。

提出的方法

• 使用Koopman算子理论（KOT）将神经网络权重和损失函数的演化建模为提升空间中的线性动力系统。
• 从数据中识别Koopman特征函数和特征值，以近似损失和权重更新的动力学，从而实现基于谱的优化。
• 应用Koopman模式分解（KMD）提取主导模式，以控制训练动力学，减少对迭代梯度更新的依赖。
• 通过将残差误差建模为Koopman模式展开，将Koopman-based误差校正集成到损失函数中。
• 采用数据驱动的Koopman算子近似（$\hat{U}$）以替代或增强传统的反向传播，最小化中间计算开销。
• 利用Koopman算子的结构，实现损失项的并行、非因果评估，类似于原始NN求解器的无监督训练。

实验结果

研究问题

• RQ1 Koopman算子理论能否用于建模和加速神经网络在动力系统中的训练动力学？
• RQ2 Koopman算子的谱信息在无监督神经网络训练中如何改善收敛性并降低计算成本？
• RQ3 Koopman模式和特征函数在多大程度上可用于预测和校正神经网络对动力系统预测中的误差？
• RQ4 数据驱动的Koopman算子能否替代或增强标准梯度下降法在训练神经网络求解器中的应用？
• RQ5 Koopman算子动力学与神经网络权重及损失函数的收敛行为之间存在何种关系？

主要发现

• 神经网络在动力系统中的训练过程可被建模为Koopman动力系统，从而实现对学习动力学的谱分析。
• Koopman特征函数和特征模式可用于近似损失和权重的演化，减少对迭代梯度更新的依赖。
• 数据驱动的Koopman算子近似使得计算复杂度与矩阵乘法相当的高效无监督训练成为可能，避免了昂贵的导数计算。
• 该方法实现了损失项的并行评估，消除了序列依赖性，从而加速了训练过程。
• 基于Koopman的误差校正提高了预测精度并减少了训练时间，尤其在收敛后期梯度下降变慢时效果显著。
• 该框架揭示了Koopman算子能够识别损失空间和权重空间中的极限点与不变结构，从而为训练稳定性提供了更深层次的理解。