[论文解读] Learning interpretable continuous-time models of latent stochastic dynamical systems

Lea Duncker, Gergő Bohner+2 more|arXiv (Cornell University)|Feb 12, 2019

Gaussian Processes and Bayesian Inference参考文献 16被引用 30

一句话总结

本文提出一种方法，通过在随机微分方程（SDE）的漂移函数上使用高斯过程先验，并基于学习到的不动点和局部雅可比矩阵进行条件化，来学习潜在随机动力系统的可解释连续时间模型。该方法结合变分推断与稀疏高斯过程近似，以推断潜在轨迹和动力学，实现对非线性系统的可解释性画像分析，并提升了数值稳定性。

ABSTRACT

We develop an approach to learn an interpretable semi-parametric model of a latent continuous-time stochastic dynamical system, assuming noisy high-dimensional outputs sampled at uneven times. The dynamics are described by a nonlinear stochastic differential equation (SDE) driven by a Wiener process, with a drift evolution function drawn from a Gaussian process (GP) conditioned on a set of learnt fixed points and corresponding local Jacobian matrices. This form yields a flexible nonparametric model of the dynamics, with a representation corresponding directly to the interpretable portraits routinely employed in the study of nonlinear dynamical systems. The learning algorithm combines inference of continuous latent paths underlying observed data with a sparse variational description of the dynamical process. We demonstrate our approach on simulated data from different nonlinear dynamical systems.

研究动机与目标

• 从不规则采样、高维观测数据中，开发潜在连续时间随机动力系统的半参数模型。
• 通过基于不动点和局部雅可比矩阵的高斯过程建模漂移函数，确保可解释性，以模仿标准动力系统理论中的相图分析。
• 利用带诱导点的稀疏变分公式，实现对潜在轨迹和动力学的鲁棒推断。
• 通过在优化过程中显式考虑协方差矩阵的对称变化，提升数值稳定性。
• 在具有多样化行为的模拟非线性动力系统上验证该方法。

提出的方法

• 动力系统建模为由维纳过程驱动的非线性SDE，其漂移函数从基于学习到的不动点及其对应雅可比矩阵条件化的高斯过程中抽取。
• 采用稀疏变分推断框架，利用诱导点来近似漂移函数上的完整高斯过程先验。
• 推断过程通过求解一组耦合的常微分方程（ODE）来实现，分别计算潜在状态的均值和协方差，并沿时间反向求解对偶变量。
• 通过变分法对拉格朗日函数进行推导，获得不动点方程，并引入状态协方差矩阵的对称变化，以增强稳定性。
• 算法使用前向欧拉积分进行潜在路径推断，对偶变量则通过反向积分求解，且更新过程中无需学习率参数。
• 涉及漂移函数的期望值通过潜在状态上的变分分布进行计算。

实验结果

研究问题

• RQ1 能否从不规则采样、高维观测数据中学习到非参数化的潜在动力系统连续时间模型？
• RQ2 如何通过不动点和局部雅可比矩阵使学习到的动力学具有可解释性，如同经典动力系统理论中的处理方式？
• RQ3 显式建模状态协方差矩阵的对称变化对推断稳定性有何影响？
• RQ4 使用稀疏高斯过程先验的变分推断能否有效恢复潜在轨迹和动力学结构？
• RQ5 与先前方法相比，该方法在无需学习率调优的情况下，其数值稳定性和收敛性表现如何？

主要发现

• 该方法通过识别不动点和局部雅可比矩阵，成功学习到可解释的动力学，实现了对非线性系统的画像化分析。
• 对协方差矩阵的对称变化进行显式处理，相比先前的变分推断方法，显著提升了数值稳定性。
• 推断算法在无需学习率参数的情况下实现收敛，因为不动点更新可直接通过ODE求解获得。
• 在来自多样化非线性系统的模拟数据上，该方法准确恢复了潜在轨迹和动力学结构。
• 采用带诱导点的稀疏变分推断，使得尽管观测数据具有高维性和不规则采样特性，仍能实现可扩展的学习。
• 该模型提供了对漂移函数的灵活非参数化表示，同时通过不动点等几何特征及稳定性特性保持了可解释性。