[论文解读] Stochastic Differential Equations with Variational Wishart Diffusions

Martin Jørgensen, Marc Peter Deisenroth+1 more|arXiv (Cornell University)|Jun 26, 2020

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

本文提出了一种基于随机微分方程（SDEs）的贝叶斯非参数框架，用于连续时间动力系统，采用变分Wishart过程对状态依赖的异方差扩散进行建模。通过在噪声中实现完整的协方差结构，该方法提升了对高维、相关时间序列系统的建模能力，并减少了过拟合，实验结果表明其在性能上持续优于对角噪声和非随机基线模型。

ABSTRACT

We present a Bayesian non-parametric way of inferring stochastic differential equations for both regression tasks and continuous-time dynamical modelling. The work has high emphasis on the stochastic part of the differential equation, also known as the diffusion, and modelling it by means of Wishart processes. Further, we present a semi-parametric approach that allows the framework to scale to high dimensions. This successfully lead us onto how to model both latent and auto-regressive temporal systems with conditional heteroskedastic noise. We provide experimental evidence that modelling diffusion often improves performance and that this randomness in the differential equation can be essential to avoid overfitting.

研究动机与目标

• 解决多变量随机微分方程（SDEs）在连续时间建模中独立同方差噪声的局限性。
• 利用Wishart过程将过程噪声建模为状态依赖的满秩协方差矩阵，实现维度间的联合动态演化。
• 开发一种可扩展的半参数推断方法，避免在高维系统中对输出维度之间的独立性假设。
• 探究将扩散建模为Wishart过程是否能提升时间序列建模任务中的泛化能力和鲁棒性。
• 提供一种变分推断框架，实现对连续时间学习中具有复杂结构噪声的SDE的高效训练。

提出的方法

• 使用高斯过程对SDE的漂移和扩散进行建模，其中扩散由Wishart过程参数化，以允许完整的协方差结构。
• 采用变分推断方法近似SDE潜在函数的后验分布，实现可扩展的学习。
• 引入Wishart过程的低秩近似，以在高维设置中保持计算可行性。
• 在短时间序列上使用小批量训练和Adam优化器，实现对大规模数据集的扩展。
• 采用连续时间公式，其中SDE在时间区间上定义，支持对不规则采样观测的建模。
• 实施一种半参数方法，结合参数化漂移与非参数化、状态依赖的扩散，以捕捉复杂动力学。

实验结果

研究问题

• RQ1 将SDE的扩散项建模为状态依赖的Wishart过程，是否能在多变量时间序列建模中优于独立或对角噪声？
• RQ2 在高维动力系统中，引入结构化、相关的过程噪声如何影响泛化能力和过拟合？
• RQ3 Wishart-based SDE框架在不假设维度间独立性的情况下，能在多大程度上扩展到高维数据？
• RQ4 在具有真实世界相关时间序列数据的预测任务中，所提出的模型是否优于具有i.i.d.或对角噪声的标准SDE？
• RQ5 该模型对超参数（如Wishart近似的秩）的敏感性如何？在实际中是否倾向于低秩结构？

主要发现

• 所提出的diffWGP模型在多个数据集（包括空气质量与合成任务）上，持续优于具有对角噪声或无噪声的基线模型。
• 在北京空气质量数据集上，Wishart扩散模型在48小时预测范围内实现了最高的对数似然值，并表现出稳定且鲁棒的预测性能。
• 采用Wishart扩散的模型成功捕捉了空间上邻近监测站之间的联合动态，例如相关联的温度变化，而对角噪声模型则未能学习到此类关系。
• 在葡萄酒和电力数据集上，由于数据接近线性或低维，性能提升微乎其微，表明该方法在复杂高维系统中优势最为显著。
• 无漂移但具有Wishart扩散的模型表现较差，证实结构化的漂移对捕捉时间演化至关重要。
• 超参数分析显示，对高秩Wishart近似无明显偏好，表明低秩结构通常已足够，且训练Wishart过程仍具挑战性。