[论文解读] Learning Dynamics from Noisy Measurements using Deep Learning with a Runge-Kutta Constraint

Pawan Goyal, Peter Benner|arXiv (Cornell University)|Sep 23, 2021

Model Reduction and Neural Networks参考文献 55被引用 6

一句话总结

本文提出了一种深度学习框架，将四阶龙格-库塔数值积分方案与两个神经网络相结合——一个用于隐式数据表示，另一个用于学习向量场——从而能够从噪声大、采样稀疏的测量数据中精确重构动力系统。该方法在高斯噪声水平高达20%且采样不规则的情况下，仍能有效去噪并学习准确的向量场，显著优于标准方法，在处理复杂混沌动力学（如Kuramoto–Sivashinsky方程）方面表现优异。

ABSTRACT

Measurement noise is an integral part while collecting data of a physical process. Thus, noise removal is a necessary step to draw conclusions from these data, and it often becomes quite essential to construct dynamical models using these data. We discuss a methodology to learn differential equation(s) using noisy and sparsely sampled measurements. In our methodology, the main innovation can be seen in of integration of deep neural networks with a classical numerical integration method. Precisely, we aim at learning a neural network that implicitly represents the data and an additional neural network that models the vector fields of the dependent variables. We combine these two networks by enforcing the constraint that the data at the next time-steps can be given by following a numerical integration scheme such as the fourth-order Runge-Kutta scheme. The proposed framework to learn a model predicting the vector field is highly effective under noisy measurements. The approach can handle scenarios where dependent variables are not available at the same temporal grid. We demonstrate the effectiveness of the proposed method to learning models using data obtained from various differential equations. The proposed approach provides a promising methodology to learn dynamic models, where the first-principle understanding remains opaque.

研究动机与目标

• 开发一种数据驱动方法，从高度噪声大且采样稀疏的测量数据中学习精确的动力学模型。
• 解决在第一性原理方程未知或难以求解时，对复杂非线性动力学进行建模的挑战。
• 将数值积分（龙格-库塔）直接集成到深度学习框架中，以确保物理一致性并提高对噪声的鲁棒性。
• 实现从任意非均匀时间与空间网格上采集的数据中进行学习，无需插值或对齐处理。
• 提供一种可扩展、可微分的框架，将神经网络与经典数值格式相结合，用于动态系统识别。

提出的方法

• 训练两个独立的深度神经网络：一个用于对噪声测量数据进行隐式表示，另一个用于学习动力系统的向量场。
• 约束向量场网络，使其预测结果满足四阶龙格-库塔时间推进格式，从而保证数值一致性。
• 损失函数强制要求下一时刻的预测状态与基于向量场估计的龙格-库塔更新结果一致。
• 通过首先学习测量数据的连续隐式表示，再应用龙格-库塔积分约束，该框架能够处理非均匀采样的数据。
• 使用卷积神经网络（CNN）对偏微分方程（PDE）中的空间分布向量场进行建模，如Burgers方程和Kuramoto–Sivashinsky方程。
• 该方法无需显式估计噪声或进行信号分解；相反，去噪效果自然地从积分约束与网络训练中产生。

实验结果

研究问题

• RQ1 深度学习框架能否有效从高度噪声大且采样稀疏的时间序列数据中学习系统的潜在动力学？
• RQ2 当在龙格-库塔积分约束下进行训练时，基于神经网络的向量场估计器在高斯噪声水平下的表现如何？
• RQ3 所提出的方法在多大程度上能够重构Kuramoto–Sivashinsky方程等混沌系统中的精细尺度特征与瞬态行为？
• RQ4 该框架能否在不进行插值或对齐处理的前提下，处理在任意非均匀时间与空间点上采集的数据？
• RQ5 与标准黑箱神经网络时间推进方法相比，强制实施数值积分格式（龙格-库塔）是否能提升泛化能力与鲁棒性？

主要发现

• 所提出的方法成功对Burgers方程的时空数据进行了去噪，噪声水平高达20%，并以高保真度恢复了原始动力学。
• 即使在20%噪声条件下，卷积神经网络估计的向量场也与基于干净数据有限差分计算的真实向量场高度吻合。
• 对于混沌的Kuramoto–Sivashinsky方程，该方法恢复了被20%噪声严重破坏的细微动力学特征与小尺度结构。
• 该框架对非均匀采样表现出强鲁棒性，无需预处理即可有效处理在非均匀时间与空间网格上采集的数据。
• 与标准神经网络时间推进方法相比，引入龙格-库塔约束显著提升了模型的准确性和稳定性，尤其在高噪声环境下。
• 该方法在无需显式噪声建模或信号分解的前提下，实现了高精度的重建与向量场估计，其物理一致性由数值格式自然强制实现。