[论文解读] Flow Map Learning for Unknown Dynamical Systems: Overview, Implementation, and Benchmarks

Victor Churchill, Dongbin Xiu|arXiv (Cornell University)|Jul 20, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用 3

一句话总结

本文提出流图学习（Flow Map Learning, FML）作为一种数据驱动框架，利用深度神经网络（DNNs）对未知动力系统进行建模，即使仅能获得部分状态观测，也能准确预测长期动力学。该方法从数据中学习时间步进映射，实现了在完全观测和部分观测系统中稳定且可复现的预测，并通过基准测试进行了验证。

ABSTRACT

Flow map learning (FML), in conjunction with deep neural networks (DNNs), has shown promises for data driven modeling of unknown dynamical systems. A remarkable feature of FML is that it is capable of producing accurate predictive models for partially observed systems, even when their exact mathematical models do not exist. In this paper, we present an overview of the FML framework, along with the important computational details for its successful implementation. We also present a set of well defined benchmark problems for learning unknown dynamical systems. All the numerical details of these problems are presented, along with their FML results, to ensure that the problems are accessible for cross-examination and the results are reproducible.

研究动机与目标

• 开发一种稳健的数据驱动框架，用于在控制方程不可用或不可观测时对未知动力系统进行建模。
• 通过引入记忆项，将流图学习（FML）扩展至部分观测系统，仅基于可观测变量实现长期预测。
• 提供全面的实现细节，包括超参数、网络架构和训练协议，以确保可复现性。
• 建立一套标准化的基准问题集，包含完整的计算与数据规格，用于方法验证与交叉检验。
• 展示使用DNN的FML在捕捉多样化系统类型（包括非线性和大规模线性系统）中的复杂动力学方面的有效性。

提出的方法

• FML将系统动力学建模为时间步进映射F，将时间tn的状态映射到tn+1的状态，基于观测轨迹。
• 对于部分观测系统，FML借鉴Mori-Zwanzig形式化方法，引入历史记忆项，以考虑未观测状态的依赖关系。
• 使用深度神经网络（DNNs）作为流映射F的函数逼近器，网络架构包含3个隐层，每层节点数为30至100个。
• 采用随机梯度下降法训练DNN，学习率为10⁻⁴，训练10⁴个周期，使用来自多条轨迹的时间序列数据。
• 框架采用突发采样策略，其中N = n_burst × Ñ条轨迹被使用，其中Ñ = 10⁴个初始条件，n_burst = 每个初始条件5次突发。
• 通过在状态空间Ω_X中均匀采样初始条件的100条测试轨迹上的ℓ₂误差评估模型性能。

实验结果

研究问题

• RQ1 当仅能获得部分状态观测时，使用DNN的流图学习能否准确预测未知动力系统的长期动力学？
• RQ2 与标准时间步进模型相比，FML中引入记忆项如何提升对部分观测系统的预测准确性？
• RQ3 在不同系统中实现稳定且准确的FML性能时，最优超参数（如DNN深度、宽度、学习率、训练周期数）是什么？
• RQ4 FML在大规模系统（如20×20线性系统，仅观测一半状态）中的泛化能力如何？
• RQ5 在提供完整基准数据与代码规格的前提下，结果在不同实现之间是否具有可复现性？

主要发现

• 对于完全观测的非线性系统（如Lorenz系统），使用DNN的FML在轨迹预测中实现了低ℓ₂误差（约10⁻²至10⁻³）。
• 在仅观测x变量的部分观测Lorenz系统中，FML结合记忆项在100条测试轨迹上保持了稳定的长期预测，平均ℓ₂误差低于0.1。
• 在仅观测10个变量的20×20大规模线性系统中，FML在100条测试轨迹上的平均ℓ₂误差约为0.05，展现出良好的可扩展性。
• 所提供的基准问题（包括非线性和线性系统）可通过提供的数据、超参数和训练协议完全复现。
• 该方法成功捕捉了在精确控制方程未知或不可观测的系统中的复杂动力学，尤其在部分观测情形下表现优异。
• 在不同系统规模和观测模式下，稳定性与准确性均得以保持，证实了基于DNN的FML框架具有鲁棒性。