[论文解读] Bilinear residual Neural Network for the identification and forecasting of dynamical systems

Ronan Fablet, Said Ouala+1 more|arXiv (Cornell University)|Dec 19, 2017

Model Reduction and Neural Networks参考文献 8被引用 20

一句话总结

本文提出了一种双线性残差神经网络（Bi-NN），将龙格-库塔积分格式解释为图结构残差网络，通过双线性层嵌入内在非线性性，以建模和预测由未知常微分方程（ODE）支配的动力系统。该方法在Lorenz-63、Lorenz-96和Oregonator系统上实现了优越的预测与模型识别性能，优于稀疏回归和标准神经网络在参数估计与潜在动力学重建方面的表现。

ABSTRACT

Due to the increasing availability of large-scale observation and simulation datasets, data-driven representations arise as efficient and relevant computation representations of dynamical systems for a wide range of applications, where model-driven models based on ordinary differential equation remain the state-of-the-art approaches. In this work, we investigate neural networks (NN) as physically-sound data-driven representations of such systems. Reinterpreting Runge-Kutta methods as graphical models, we consider a residual NN architecture and introduce bilinear layers to embed non-linearities which are intrinsic features of dynamical systems. From numerical experiments for classic dynamical systems, we demonstrate the relevance of the proposed NN-based architecture both in terms of forecasting performance and model identification.

研究动机与目标

• 开发一种数据驱动、物理解释性强的神经网络架构，用于建模和预测由未知ODE支配的动力系统。
• 在残差网络框架中通过双线性层嵌入动力系统的内在非线性性。
• 与最先进方法（如稀疏回归和标准神经网络）相比，提升预测精度与模型识别性能。
• 实现从高维观测时间序列中识别低维潜在动力学。
• 将经典数值积分格式（如龙格-库塔）重新解释为残差神经网络架构，以支持端到端学习。

提出的方法

• 将四阶龙格-库塔方法重新表述为四层残差神经网络，其中每一层应用共享算子F，并使用固定或可学习的系数αi和βi。
• 在共享模块F中引入双线性层，以捕捉Lorenz和Oregonator等系统中固有的非线性动力学，增强模型表征能力。
• 端到端训练网络以学习算子F，以及可能可学习的系数αi和βi，使用系统的时间序列数据。
• 利用残差架构实现稳定训练，并提升长期预测与系统识别的泛化能力。
• 通过线性映射将模型应用于从高维观测中重构低维潜在动力学，最多允许旋转矩阵变换。
• 利用数值积分的图模型解释来指导物理可解释神经架构的设计。

实验结果

研究问题

• RQ1 龙格-库塔积分格式能否被有效重新解释为残差神经网络架构，以用于动力系统的学习？
• RQ2 在残差网络中，双线性层是否能比标准全连接或卷积层更好地捕捉混沌动力系统的内在非线性性？
• RQ3 所提出的双线性残差神经网络是否在预测和识别未知ODE的参数方面优于稀疏回归和标准神经网络？
• RQ4 该模型能否成功地从高维观测数据中重构低维混沌动力学？
• RQ5 所学习的神经网络表征在多大程度上能保持底层动力系统的物理结构与长期行为？

主要发现

• Bi-NN(4)-SL模型在估计Lorenz-63参数时达到最低均方误差（MSE）0.0239，优于稀疏回归（SR）和Ni-NN(1)。
• 对于Lorenz-63系统，Bi-NN(4)-SL模型在t₀+2h处的预测误差为0.035，在t₀+4h处为0.038，显著低于基线方法。
• Bi-NN(1)模型成功地从5维观测系统中重构出Lorenz-63潜在动力学的3维混沌吸引子，重构误差与3×3旋转矩阵一致。
• 该模型在Lorenz-63系统上实现了长达8小时的稳定预测，尽管存在混沌敏感性，误差增长仍保持较低水平。
• 双线性架构在参数估计与吸引子重构方面，相比标准神经网络，能更准确地识别真实底层ODE结构。
• 该方法在高维、含噪声的时间序列上实现了稳定训练与泛化，证实其适用于真实世界动力系统建模。