[论文解读] Learning dynamical systems from data: a simple cross-validation perspective

Boumediene Hamzi, Houman Owhadi|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks参考文献 40被引用 8

一句话总结

本文提出使用交叉验证技术——具体为核流（Kernel Flows）、最大均值差异（Maximum Mean Discrepancy）和基于李雅普诺夫指数的方法——作为学习数据驱动动力系统模拟器中核函数的简单而有效的框架。通过利用交叉验证，该方法提升了从观测状态重构向量场时的泛化能力和准确性，为传统基于回归的系统辨识提供了一种稳健的替代方案。

ABSTRACT

Regressing the vector field of a dynamical system from a finite number of observed states is a natural way to learn surrogate models for such systems. We present variants of cross-validation (Kernel Flows [31] and its variants based on Maximum Mean Discrepancy and Lyapunov exponents) as simple approaches for learning the kernel used in these emulators.

研究动机与目标

• 解决从有限状态观测中学习准确代理模型的动力系统挑战。
• 通过引入交叉验证原则，改进向量场回归中的核选择。
• 开发一种简单且可推广的框架，以增强系统辨识中模型的泛化能力和稳定性。
• 使用最大均值差异和李雅普诺夫指数等指标，评估基于交叉验证的核学习在系统辨识中的有效性。

提出的方法

• 将基于交叉验证的核学习方法——核流（Kernel Flows）——适配用于从数据中学习动力系统的向量场。
• 引入基于最大均值差异（MMD）的交叉验证变体，用于比较经验分布与预测的状态分布。
• 将李雅普诺夫指数作为验证指标，以评估所学模型的动力学行为保真度。
• 使用交叉验证迭代优化将状态观测映射到向量场估计的核函数。
• 采用数据驱动方法，通过最小化验证折中的预测误差来优化核超参数。
• 结合多种验证标准（MMD、李雅普诺夫指数），确保所学模型在统计和动力学上的一致性。

实验结果

研究问题

• RQ1 交叉验证能否提升动力系统中基于核的向量场回归的泛化能力？
• RQ2 最大均值差异（MMD）和李雅普诺夫指数在动力系统核学习中为何能作为有效的验证指标？
• RQ3 核选择对所学代理模型的准确性和稳定性有何影响？
• RQ4 统一的交叉验证框架能否在系统辨识任务中超越标准核回归方法？

主要发现

• 所提出的基于交叉验证的核学习方法在向量场重构准确性方面优于标准核回归方法。
• 将MMD作为验证准则可显著提升预测状态轨迹的统计保真度。
• 引入李雅普诺夫指数可确保所学动力学保留混沌或稳定性等关键定性行为特征。
• 该方法在不同动力系统中均表现出改进的泛化能力，尤其在低数据场景下表现更优。
• 结合交叉验证的核流方法在从有限观测中捕捉长期动力学行为方面优于基线方法。