[论文解读] Learning dynamical systems from data: A simple cross-validation perspective, part III: Irregularly-Sampled Time Series

Jong‐Hyeon Lee, Edward De Brouwer+2 more|arXiv (Cornell University)|Nov 25, 2021

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

本论文提出了一种核流（Kernel Flows, KF）的扩展方法，通过在核函数中引入时间延迟嵌入以纳入观测之间的时间差，从而实现从非均匀采样时间序列中学习动力系统。该方法显著提升了标准KF和基于欧拉法的方法在高非均匀性条件下的预测精度，同时保持了方法的简洁性、高效性和鲁棒性，并通过再生核希尔伯特空间（RKHS）中的核基插值保持了可解释性。

ABSTRACT

A simple and interpretable way to learn a dynamical system from data is to interpolate its vector-field with a kernel. In particular, this strategy is highly efficient (both in terms of accuracy and complexity) when the kernel is data-adapted using Kernel Flows (KF)\cite{Owhadi19} (which uses gradient-based optimization to learn a kernel based on the premise that a kernel is good if there is no significant loss in accuracy if half of the data is used for interpolation). Despite its previous successes, this strategy (based on interpolating the vector field driving the dynamical system) breaks down when the observed time series is not regularly sampled in time. In this work, we propose to address this problem by directly approximating the vector field of the dynamical system by incorporating time differences between observations in the (KF) data-adapted kernels. We compare our approach with the classical one over different benchmark dynamical systems and show that it significantly improves the forecasting accuracy while remaining simple, fast, and robust.

研究动机与目标

• 解决标准基于核的动力系统学习方法在非均匀采样时间序列上的失效问题。
• 通过推广流映射近似方法，克服非均匀采样下向量场插值的局限性。
• 开发一种简单、可解释且高效的方法，在保持核流优势的同时适应非均匀时间间隔。
• 在不同非均匀性水平下，通过混沌系统（如Hénon映射、Van der Pol振子和Lorenz系统）验证预测性能的提升。
• 通过采用数据自适应核函数和再生核希尔伯特空间框架下的基于梯度的优化，确保方法的鲁棒性与可扩展性。

提出的方法

• 通过将延迟嵌入修改为包含观测间时间差，将核流（KF）扩展至非均匀时间序列。
• 将观测间时间间隔直接整合到核构造中，将其作为输入空间中的附加特征。
• 采用改进的核岭回归框架，其中核函数通过基于梯度的优化（即核流）学习，以最小化数据子集上的预测误差。
• 使用时间感知延迟嵌入近似广义流映射，替代标准的向量场插值方法。
• 应用小批量随机梯度下降（SGD）优化核超参数，重点最小化RKHS范数下的相对误差。
• 在保持原始KF框架简洁性和可解释性的基础上，通过时间感知核设计增强其处理非均匀采样能力。

实验结果

研究问题

• RQ1 核流能否在不牺牲可解释性或计算效率的前提下，有效适应非均匀采样时间序列？
• RQ2 将时间差纳入核函数后，其对预测精度的影响与标准KF和欧拉离散化方法相比如何？
• RQ3 标准KF在最大时间间隔α超过何值时开始失效？所提方法如何缓解此问题？
• RQ4 不规则KF算法对学习率和训练周期数等超参数的敏感性如何？
• RQ5 在具有非均匀采样的混沌系统中，该方法是否能在长预测时域内保持鲁棒性和准确性？

主要发现

• 在α > 3时，不规则KF算法在Hénon映射上的表现显著优于标准KF和基于欧拉的KF，后两者完全失效。
• 对于Van der Pol振子，不规则KF可保持准确预测至α = 7，而标准KF和欧拉方法更早失效。
• 在Lorenz系统中，当α = 5时，不规则KF的MSE为0.003 ± 0.003，R²为0.967 ± 0.029，优于标准KF（MSE: 0.026 ± 0.015，R²: 0.700 ± 0.170）。
• 在α = 10时，不规则KF的MSE上升至0.065 ± 0.055（R²: 0.204 ± 0.669），但某些情况下仍优于标准KF（MSE: 0.028 ± 0.003，R²: 0.679 ± 0.030）。
• 在预测时域h = 50时，不规则KF的MSE为0.018 ± 0.006，R²为0.791 ± 0.074，优于标准KF（MSE: 0.023 ± 0.004，R²: 0.734 ± 0.031）。
• 学习率η = 0.01时性能最优；η = 0.001和η = 0.1分别因学习不足和过度学习导致MSE升高。