[论文解读] Dependent Matérn Processes for Multivariate Time Series

Alexander Vandenberg‐Rodes, Babak Shahbaba|arXiv (Cornell University)|Feb 11, 2015

Gaussian Processes and Bayesian Inference参考文献 15被引用 3

一句话总结

本文提出依赖马尔可夫过程（Dependent Matérn Processes, DMP），一种新颖的多变量高斯过程模型，利用随机微分方程联合建模具有高度预测精度、可解释性和计算效率的相互依赖时间序列。该方法在真实世界多变量时间序列（包括潮汐高度和外汇汇率）上实现最先进性能，预测精度优于现有模型（如LMC和潜在力模型）。

ABSTRACT

For the challenging task of modeling multivariate time series, we propose a new class of models that use dependent Matérn processes to capture the underlying structure of data, explain their interdependencies, and predict their unknown values. Although similar models have been proposed in the econometric, statistics, and machine learning literature, our approach has several advantages that distinguish it from existing methods: 1) it is flexible to provide high prediction accuracy, yet its complexity is controlled to avoid overfitting; 2) its interpretability separates it from black-box methods; 3) finally, its computational efficiency makes it scalable for high-dimensional time series. In this paper, we use several simulated and real data sets to illustrate these advantages. We will also briefly discuss some extensions of our model.

研究动机与目标

• 开发一种灵活、可解释且计算高效的多变量时间序列模型，以捕捉多个时间序列之间的复杂依赖关系。
• 通过引入新型状态空间公式，解决现有多变量高斯过程模型在核结构上的不灵活性和可扩展性差的问题。
• 在保持底层依赖关系可解释性的同时，实现对多变量时间序列中缺失值的精确预测。
• 提供一个支持扩展至周期性、延迟或非马尔可夫核结构的框架，通过其状态空间表示实现。

提出的方法

• 通过随机微分方程（SDEs）对马尔可夫核进行状态空间表示，利用卡尔曼滤波实现高效推理与预测。
• 通过共享噪声结构和共同协方差矩阵，将多个时间序列的潜在SDE耦合，建模为依赖过程。
• 通过包含交叉系列相关性和平滑参数的精度矩阵，定义联合多变量SDE过程。
• 采用R个独立噪声源的潜在过程分解，实现灵活且低秩的协方差结构。
• 通过卡尔曼滤波器与平滑器执行推理，实现精确的边缘似然计算和高效的超参数优化。
• 通过整合已知的SDE表示（如周期性行为的随机共振器），将模型扩展至非马尔可夫核。

实验结果

研究问题

• RQ1 如何在保持跨系列依赖关系可解释性的同时，实现高预测精度的多变量时间序列建模？
• RQ2 马尔可夫核的状态空间公式是否能提升多变量GP模型中的计算可扩展性与推理效率？
• RQ3 所提出的DMP模型在真实世界多变量时间序列上与现有方法（如LMC和潜在力模型）相比表现如何？
• RQ4 通过调节平滑参数ν，该模型能否有效捕捉潮汐与汇率数据中的平滑与粗糙时间动态？
• RQ5 该模型在多大程度上可扩展以处理多变量时间序列中的周期性或延迟依赖关系？

主要发现

• 在外汇汇率数据上，DMP模型的标准化均方误差（SMSE）为0.087，显著优于LMC模型（SMSE = 0.49）和先前最先进模型（SMSE = 0.2795）。
• 对于潮汐高度数据，ν = 3/2的模型在相关性与预测精度之间达到最佳平衡，推断的长度尺度为（102.5, 75.4, 24.0, 41.0），且交叉系列相关性适中（≈0.6）。
• 该模型在处理缺失数据方面表现出鲁棒性，成功预测了三种主要货币汇率中未观测值，且95%可信区间紧密。
• 通过R = 4个独立噪声源的低秩分解，实现了高效计算，同时在高维时间序列上保持了预测精度。
• 通过其基于SDE的公式，模型显著增强了可解释性，清晰分离了平滑度、相关性和噪声成分。
• 通过状态空间框架，周期性行为的扩展被证明是可行的，表明该模型在建模延迟或振荡现象（如潮汐与波浪）方面具有潜力。