[论文解读] Closed-form Inference and Prediction in Gaussian Process State-Space Models

Alessandro Davide Ialongo, Mark van der Wilk+1 more|arXiv (Cornell University)|Dec 10, 2018

Gaussian Processes and Bayesian Inference参考文献 5被引用 9

一句话总结

该论文提出了一种高斯过程状态空间模型（GPSSMs）的闭式变分推断方法，通过使用诱导点和马尔可夫结构，实现了对潜在状态和转移函数的确定性、线性时间推断。该方法无需蒙特卡洛采样即可实现精确的非线性动力学建模、多步预测以及后验质量评估，在合成系统和物理系统上成功应用于滤波、去噪和维度估计。

ABSTRACT

We examine an analytic variational inference scheme for the Gaussian Process State Space Model (GPSSM) - a probabilistic model for system identification and time-series modelling. Our approach performs variational inference over both the system states and the transition function. We exploit Markov structure in the true posterior, as well as an inducing point approximation to achieve linear time complexity in the length of the time series. Contrary to previous approaches, no Monte Carlo sampling is required: inference is cast as a deterministic optimisation problem. In a number of experiments, we demonstrate the ability to model non-linear dynamics in the presence of both process and observation noise as well as to impute missing information (e.g. velocities from raw positions through time), to de-noise, and to estimate the underlying dimensionality of the system. Finally, we also introduce a closed-form method for multi-step prediction, and a novel criterion for assessing the quality of our approximate posterior.

研究动机与目标

• 开发一种完全解析的GPSSM变分推断方案，避免使用蒙特卡洛采样。
• 通过利用马尔可夫结构和诱导点近似，实现高效、线性时间的推断。
• 提供一种用于多步预测的闭式方法，并在测试时提供一种评估预测后验质量的准则。
• 展示模型在恢复非线性动力学、信号去噪、缺失状态插补（如从位置推断速度）以及潜在维度估计方面的能力。

提出的方法

• 采用双重变分推断框架，对状态 $q(\mathbf{x})$ 和转移函数 $q(f)$ 使用因子分解的近似后验。
• 通过诱导变量 $\mathbf{u}$ 应用稀疏GP近似，从而获得可处理的证据下界（ELBO）。
• 对状态使用高斯变分分布，对诱导变量使用自由形式分布，从而实现闭式期望。
• 推导出增强的ELBO $\mathcal{L}'$，通过测量近似预测分布与真实预测分布之间的KL散度来评估预测不确定性。
• 提出一种基于矩匹配和未来状态分布变分优化的新型多步预测方法。
• 使用ELBO差距 $\mathcal{L} - \mathcal{L}'$ 作为预测准确性的代理指标，无需测试数据即可量化近似后验的质量。

实验结果

研究问题

• RQ1 GPSSMs中的完全解析变分推断是否能在不使用蒙特卡洛采样的情况下实现准确的推断与预测？
• RQ2 该方法在过程噪声和观测噪声下对非线性动力学的建模效果如何？
• RQ3 模型是否能有效插补缺失状态（如从位置推断速度）并实现信号去噪？
• RQ4 增强的ELBO是否能提供一种可靠、无需测试数据的预测后验质量评估指标？
• RQ5 模型是否能从噪声观测中估计出动力学系统的真正潜在维度？

主要发现

• 通过利用马尔可夫结构和诱导点近似，该方法在时间序列长度上实现了线性时间复杂度。
• 模型在噪声数据上成功学习了非线性转移函数，已在“拐点”和“小车与摆杆”系统上得到验证。
• 在非线性区域，多步预测性能下降，ELBO退化程度从线性区域的 -0.22 上升至非线性区域的 -46.9。
• 在小车与摆杆数据集上，ELBO目标函数在真实潜在维度（5D）附近达到峰值，表明模型具备有效的维度估计能力。
• 原始ELBO与增强ELBO之间的差距 ($\mathcal{L} - \mathcal{L}'$) 能够量化预测不确定性，并与预测准确性相关联，从而实现在无保留数据情况下的测试时评估。
• 通过矩匹配获得的闭式预测分布为采样提供了一种可靠替代方案，且ELBO差距作为近似质量的合理度量。