[论文解读] Data-driven learning of non-autonomous systems

Tong Qin, Zhe Chen+2 more|arXiv (Cornell University)|Jun 2, 2020

Model Reduction and Neural Networks参考文献 28被引用 5

一句话总结

该论文提出了一种数据驱动框架，用于学习具有时变输入的非自治动力系统。通过将系统分解为分段时间区间，对输入进行局部参数化（例如通过多项式），并在局部参数化模型上训练深度神经网络（DNN），实现对系统在多种输入下的迭代、长期预测。该方法在具有间断源项的线性/非线性常微分方程（ODE）和偏微分方程（PDE）上均表现出高精度，即使在训练数据范围之外也表现良好。

ABSTRACT

We present a numerical framework for recovering unknown non-autonomous dynamical systems with time-dependent inputs. To circumvent the difficulty presented by the non-autonomous nature of the system, our method transforms the solution state into piecewise integration of the system over a discrete set of time instances. The time-dependent inputs are then locally parameterized by using a proper model, for example, polynomial regression, in the pieces determined by the time instances. This transforms the original system into a piecewise parametric system that is locally time invariant. We then design a deep neural network structure to learn the local models. Once the network model is constructed, it can be iteratively used over time to conduct global system prediction. We provide theoretical analysis of our algorithm and present a number of numerical examples to demonstrate the effectiveness of the method.

研究动机与目标

• 解决现有数据驱动方法难以处理非自治系统的问题，因为时变输入破坏了方法所依赖的时间不变性。
• 开发一种不依赖时间导数的框架，以避免真实世界数据中噪声对导数的敏感性。
• 利用单一训练好的DNN模型，实现对新初始条件和外部输入的通用、灵活的系统预测。
• 在较弱正则性假设下，为所学模型的近似质量提供理论误差界。
• 将基于深度学习的系统辨识方法扩展至非自治系统，包括偏微分方程。

提出的方法

• 将非自治系统转化为离散时间区间上的分段积分序列，以局部化时间依赖性。
• 在每个时间区间内对时变输入进行局部参数化（例如通过多项式回归），以构建局部时间不变的参数化系统。
• 设计一种深度神经网络（DNN）架构，用于学习局部参数化流映射，扩展基于ResNet的自治与参数化系统学习方法。
• 使用从底层系统生成的合成轨迹数据训练DNN，以状态和输入参数化作为输入。
• 通过在时间上迭代使用训练好的DNN，对新初始条件和外部输入的系统演化进行预测，前提是这些输入可由相同的局部基表示。
• 在原始系统满足Lipschitz连续性假设的条件下，提供理论近似误差界。

实验结果

研究问题

• RQ1 是否存在一种数据驱动方法，可在不依赖状态数据时间导数的情况下学习非自治系统？
• RQ2 在系统辨识中，如何有效处理时变输入的非自治特性？
• RQ3 在局部参数化模型上训练的深度神经网络，是否能实现对多样化输入的高精度长期预测？
• RQ4 所提出学习框架的理论近似误差界是什么？
• RQ5 该方法能否扩展至复杂系统，如具有时变源项的偏微分方程？

主要发现

• 该方法在具有时变输入的非线性振子系统上实现了高达T=100的高精度长期预测，与参考解高度吻合。
• 对于具有间断锯齿形源项的PDE，DNN模型的预测在时间演化和空间分布上均与参考解表现出极佳的一致性。
• DNN模型成功预测了训练数据中未出现的输入下的系统行为，展示了良好的泛化能力。
• 即使输入函数存在间断（如锯齿波），该方法仍保持高精度，表明对非光滑输入具有鲁棒性。
• 理论分析表明，在原始系统满足较弱Lipschitz连续性假设的条件下，近似误差是有界的。
• 该框架在多种系统上均表现有效，包括线性与非线性ODE以及20维PDE的离散化系统，且性能稳定一致。