[论文解读] Polynomial Neural Networks and Taylor maps for Dynamical Systems Simulation and Learning

Andrei Ivanov, Anna Golovkina+1 more|arXiv (Cornell University)|Dec 19, 2019

Model Reduction and Neural Networks参考文献 25被引用 5

一句话总结

本文提出基于泰勒映射的多项式神经网络（PNNs），用于模拟和学习由常微分方程（ODEs）控制的动力系统。通过直接从 ODEs 计算网络权重，PNNs 实现了在无需微调的情况下，对多种初始条件的快速、高精度模拟，同时数据驱动训练可保持物理特性，并实现对训练数据分布之外的外推。

ABSTRACT

The connection of Taylor maps and polynomial neural networks (PNN) to solve ordinary differential equations (ODEs) numerically is considered. Having the system of ODEs, it is possible to calculate weights of PNN that simulates the dynamics of these equations. It is shown that proposed PNN architecture can provide better accuracy with less computational time in comparison with traditional numerical solvers. Moreover, neural network derived from the ODEs can be used for simulation of system dynamics with different initial conditions, but without training procedure. On the other hand, if the equations are unknown, the weights of the PNN can be fitted in a data-driven way. In the paper we describe the connection of PNN with differential equations in a theoretical way along with the examples for both dynamics simulation and learning with data.

研究动机与目标

• 开发一种神经网络架构，直接编码多项式 ODE 的结构，以实现高效的动力系统模拟。
• 通过从 ODE 系统解析推导 PNN 权重，实现在不重新训练的情况下，对任意初始条件的准确动力学模拟。
• 在底层 ODE 未知的情况下，通过数据驱动学习展示 PNN 对动力系统的建模能力，同时保持物理一致性。
• 引入基于 QUBO 的正则化方法，用于在真实世界问题（如电池电压动力学和范德波尔振子）上训练 PNNs。
• 建立泰勒映射、多项式神经网络与动力系统理论之间的理论与实践联系。

提出的方法

• PNN 架构构建为泰勒映射：$\mathbf{X}(t_1) = W_0 + W_1 \mathbf{X}_0 + W_2 \mathbf{X}_0^{[2]} + \dots + W_k \mathbf{X}_0^{[k]}$，其中 $W_i$ 为从 ODE 系统推导出的权重矩阵。
• 权重 $W_i$ 通过 ODE 右端多项式部分的泰勒级数展开，直接从 ODE 计算得出，实现一次计算，与初始条件无关。
• 在数据驱动学习中，PNN 通过状态轨迹的输入-输出对进行端到端训练，并采用基于 QUBO 的正则化以保持物理约束。
• 该方法同时支持物理信息模拟（当 ODE 已知时）和数据驱动建模（当 ODE 未知时），使用相同的 PNN 结构。
• PNN 被应用于模拟存储环、偏转动力学、布辛涅斯克方程和电池电压衰减等系统，并与数值求解器进行验证。
• 该架构采用不同阶数（如二阶和五阶）的分层泰勒映射，以建模复杂的非线性动力学。

实验结果

研究问题

• RQ1 基于 ODE 推导出的 PNNs 是否能实现比传统数值求解器更高的精度和更低的计算成本？
• RQ2 当权重从 ODE 计算得出时，PNN 是否能在不重新训练的情况下，对任意初始条件实现系统动力学的模拟？
• RQ3 在数据驱动训练中，PNN 是否能保持底层动力系统的物理特性（如非负性或有界性）？
• RQ4 基于 QUBO 的正则化在提升数据驱动 PNN 的物理一致性和泛化能力方面效果如何？
• RQ5 PNN 在多大程度上能将动力学外推至训练数据分布之外，尤其是对于已知 ODE 的系统？

主要发现

• 从 ODE 计算得出的 PNNs 在精度上与传统求解器（如 Runge-Kutta）相当或更优，同时计算时间显著减少。
• PNN 架构可在不重新训练的情况下，对任意初始条件实现动力学模拟，因为权重与 $\mathbf{X}_0$ 无关。
• 在电池电压数据上训练的数据驱动 PNN 成功预测了长期动力学，并保持了物理约束（如非负电压水平）。
• 使用 QUBO 正则化在范德波尔振子和布辛涅斯克方程上训练的 PNN 具有良好的泛化能力，保持了系统稳定性和物理一致性。
• 在外推方面，PNN 方法优于标准 MLP 和 LSTM，因为后者模型往往记忆训练数据而非学习通用动力学。
• 该方法在真实世界问题中具有适用性，包括粒子束动力学和电化学系统，在多个领域中均得到验证。