[论文解读] Deep learning of dynamics and signal-noise decomposition with time-stepping constraints

Samuel Rudy, Nathan Kutz+1 more|arXiv (Cornell University)|Aug 7, 2018

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出了一种深度学习框架，通过将神经网络嵌入到Runge-Kutta时间步进结构中，联合学习动力系统中的动力学和测量噪声。通过施加时间积分约束，该方法即使在数据有限、噪声大或采样不规则的情况下，也能准确重构真实的向量场，显著提升了标准方法在鲁棒性和预测准确性方面的表现。

ABSTRACT

A critical challenge in the data-driven modeling of dynamical systems is producing methods robust to measurement error, particularly when data is limited. Many leading methods either rely on denoising prior to learning or on access to large volumes of data to average over the effect of noise. We propose a novel paradigm for data-driven modeling that simultaneously learns the dynamics and estimates the measurement noise at each observation. By constraining our learning algorithm, our method explicitly accounts for measurement error in the map between observations, treating both the measurement error and the dynamics as unknowns to be identified, rather than assuming idealized noiseless trajectories. We model the unknown vector field using a deep neural network, imposing a Runge-Kutta integrator structure to isolate this vector field, even when the data has a non-uniform timestep, thus constraining and focusing the modeling effort. We demonstrate the ability of this framework to form predictive models on a variety of canonical test problems of increasing complexity and show that it is robust to substantial amounts of measurement error. We also discuss issues with the generalizability of neural network models for dynamical systems and provide open-source code for all examples.

研究动机与目标

• 解决在测量数据受噪声污染且数据有限时，动力系统数据驱动建模的挑战。
• 开发一种框架，无需预先去噪或大规模数据集，即可同时学习底层动力学并估计测量噪声。
• 通过将神经网络嵌入到Runge-Kutta时间积分器结构中，提升模型的鲁棒性和泛化能力。
• 即使在高噪声水平下，也能实现对稀疏或非均匀采样数据的准确预测与向量场重构。
• 提供一种灵活、可解释且可复现的深度学习方法，用于结合物理约束的系统辨识。

提出的方法

• 使用深度神经网络表示连续动力系统中未知的向量场。
• 将网络嵌入经典Runge-Kutta时间积分方案中，以确保物理一致性，并将向量场与噪声分离。
• 该方法显式将向量场和测量噪声均视为训练过程中需识别的未知量。
• 施加时间步进约束，以确保预测轨迹即使在非均匀时间步长下也符合数值积分方案。
• 损失函数最小化预测状态与观测状态之间的差异，同时考虑测量过程中的噪声。
• 该框架支持非均匀采样数据，并可基于单条长轨迹或多条带瞬态的短轨迹进行训练。

实验结果

研究问题

• RQ1 深度学习模型是否能在无需预先去噪的情况下，联合学习动力系统中真实的动力学与测量噪声？
• RQ2 施加Runge-Kutta时间步进结构在多大程度上提升了对噪声和数据稀疏性的鲁棒性？
• RQ3 与多条短轨迹相比，单条带瞬态的轨迹在多大程度上能够实现准确的向量场重构？
• RQ4 该模型在训练数据未充分覆盖的状态空间区域中，泛化能力如何？
• RQ5 在高噪声条件下，该约束学习方法是否能在预测和系统辨识方面优于标准神经网络模型？

主要发现

• 即使在5%测量噪声下，该方法仍能实现准确的向量场重构，显著优于仅基于单条长轨迹训练的模型。
• 基于多条带瞬态的短轨迹进行训练，可获得比单条长轨迹更准确且更具泛化能力的模型，尤其在吸引子以外的区域表现更优。
• 该模型成功将测量噪声与真实动力学分离，即使在高噪声水平下也能实现稳健预测。
• 不同架构的神经网络在流体流动示例中均收敛到正确的极限环，但无法恢复底层的径向对称性，表明单一轨迹存在泛化局限性。
• 约束学习框架能够从稀疏且噪声大的数据中实现可靠的系统辨识，性能优于标准黑箱模型。
• 开源代码（RKNN）支持可复现性，并为未来数据驱动系统辨识研究提供便利。