[论文解读] Operator Fitting for Parameter Estimation of Stochastic Differential Equations

Asbjørn Nilsen Riseth, Jake P. Taylor‐King|arXiv (Cornell University)|Sep 15, 2017

Model Reduction and Neural Networks参考文献 31被引用 13

一句话总结

本文提出了一种基于扩展动态模式分解（EDMD）的算子拟合方法，用于随机微分方程（SDEs）的参数估计。通过将柯尔普曼算子的有限维近似与数据驱动的EDMD矩阵匹配，该方法实现了与样本量无关的计算成本，数值实验中表现出𝒪(T⁻¹/²)和𝒪(T⁻¹/³)的收敛速率，并表明在某些条件下，有限特征展开可优于完整矩阵表示。

ABSTRACT

Estimation of parameters is a crucial part of model development. When models are deterministic, one can minimise the fitting error; for stochastic systems one must be more careful. Broadly parameterisation methods for stochastic dynamical systems fit into maximum likelihood estimation- and method of moment-inspired techniques. We propose a method where one matches a finite dimensional approximation of the Koopman operator with the implied Koopman operator as generated by an extended dynamic mode decomposition approximation. One advantage of this approach is that the objective evaluation cost can be independent the number of samples for some dynamical systems. We test our approach on two simple systems in the form of stochastic differential equations, compare to benchmark techniques, and consider limited eigen-expansions of the operators being approximated. Other small variations on the technique are also considered, and we discuss the advantages to our formulation.

研究动机与目标

• 解决由于内在噪声导致传统确定性方法失效的随机动力系统中的参数估计挑战。
• 开发一种避免依赖最大似然估计（MLE）或矩量法（MM）的参数推断框架，同时保持计算效率。
• 利用柯尔普曼算子框架和EDMD，实现可扩展的、数据驱动的SDE参数拟合，具备可证明的收敛性质。
• 探索特征函数展开在降低计算成本而不牺牲估计精度方面的效用。

提出的方法

• 该方法使用一组基函数，从时间序列数据中构建EDMD矩阵，以近似柯尔普曼算子在数据上的作用。
• 通过最小化数据驱动的EDMD矩阵与参数化为θ的模型基柯尔普曼矩阵之间的范数差，构建参数估计问题。
• 目标函数定义为‖A_μ(θ)ψ(X) − ψ(Y)‖₂，其中ψ(X)和ψ(Y)分别是连续数据点上的基函数取值。
• 该方法基于EDMD收敛到真实柯尔普曼算子的理论，其均方误差在正则性条件下按𝒪(1/T)缩放。
• 探索了柯尔普曼算子的有限特征展开和替代内积等变体，以提升性能。
• 该方法避免了直接的似然计算，从而实现与样本数T无关的计算成本，仅依赖于基函数数量N。

实验结果

研究问题

• RQ1 通过EDMD进行算子拟合是否能为SDE参数估计提供一种计算高效的替代MLE和MM的方法？
• RQ2 该方法是否能实现一致的参数估计，并具备与现有技术相当的收敛速率？
• RQ3 在何种条件下，柯尔普曼算子的有限特征展开会优于完整矩阵表示？
• RQ4 在具有已知动力学的低维SDE上，该方法与基准方法相比表现如何？
• RQ5 基函数选择和数据采样策略对估计精度和计算成本有何影响？

主要发现

• 该方法实现了𝒪(T⁻¹/²)和𝒪(T⁻¹/³)的参数估计误差收敛速率，表明可通过蒙特卡洛技术实现加速。
• 数值实验表明性能与基准方法相当，且在数据量增加时保持稳定收敛。
• 在某些情况下，柯尔普曼算子的有限特征展开产生的参数估计优于完整矩阵表示，表明具有降维潜力。
• 参数搜索的计算成本与数据点数量T无关，仅依赖于基函数数量N，从而可扩展至大规模数据集。
• 该方法不属于标准的MLE或MM类别，为随机系统中的参数推断提供了新路径。
• 理论分析证实EDMD以𝒪(1/T)的均方误差估计真实柯尔普曼算子，支持该方法的一致性。