[论文解读] Forecasting Time Series with VARMA Recursions on Graphs

Elvin Isufi, Andreas Loukas+2 more|RePEc: Research Papers in Economics|Oct 19, 2018

Time Series Analysis and Forecasting被引用 7

一句话总结

本文提出了一种图正则化的VARMA框架，通过利用图上的联合时-顶点平稳性来预测多变量时间序列。通过将数据投影到图谱域，该方法将多变量预测问题简化为不相关的一元ARMA模型，并实现低秩近似，显著降低了估计成本，同时在最先进方法的基础上提升了预测精度。

ABSTRACT

Graph-based techniques emerged as a choice to deal with the dimensionality issues in modeling multivariate time series. However, there is yet no complete understanding of how the underlying structure could be exploited to ease this task. This work provides contributions in this direction by considering the forecasting of a process evolving over a graph. We make use of the (approximate) time-vertex stationarity assumption, i.e., timevarying graph signals whose first and second order statistical moments are invariant over time and correlated to a known graph topology. The latter is combined with VAR and VARMA models to tackle the dimensionality issues present in predicting the temporal evolution of multivariate time series. We find out that by projecting the data to the graph spectral domain: (i) the multivariate model estimation reduces to that of fitting a number of uncorrelated univariate ARMA models and (ii) an optimal low-rank data representation can be exploited so as to further reduce the estimation costs. In the case that the multivariate process can be observed at a subset of nodes, the proposed models extend naturally to Kalman filtering on graphs allowing for optimal tracking. Numerical experiments with both synthetic and real data validate the proposed approach and highlight its benefits over state-of-the-art alternatives.

研究动机与目标

• 通过利用图结构依赖关系，解决多变量时间序列中的高维预测挑战。
• 利用联合时-顶点平稳性——即统计矩在时间与图平移下保持不变——以提升模型泛化能力。
• 通过将多变量VARMA估计转换为图谱域中的独立一元ARMA模型，降低计算复杂度。
• 通过图上的卡尔曼滤波实现对部分观测过程的最优跟踪。
• 提供一种低秩数据表示，在保持预测精度的同时最小化估计成本。

提出的方法

• 该方法假设时-顶点信号的联合宽平稳性，从而可通过图拉普拉斯矩阵的特征分解实现谱建模。
• 利用图傅里叶变换将多变量时间序列投影到图谱域，将系统解耦为不相关的单变量ARMA过程。
• 在谱域中重新表述VARMA模型，使每个节点的信号独立建模为ARMA过程，从而降低维度和计算成本。
• 通过选择图信号协方差的K个最大特征分量，应用低秩近似，依据Eckart–Young–Mirsky定理最小化重构误差。
• 对于部分观测数据，该框架扩展至图上的卡尔曼滤波，实现通过递归更新的最优跟踪。
• 该方法利用图谱投影以强制实现平滑性并利用带限特性，提升对噪声和有限训练样本的鲁棒性。

实验结果

研究问题

• RQ1 能否利用联合时-顶点平稳性来简化图上多变量时间序列的预测？
• RQ2 将问题转换到图谱域是否能降低估计复杂度，同时保持预测精度？
• RQ3 在谱域中采用低秩近似对预测性能和计算成本有何影响？
• RQ4 所提出的模型是否能在完整观测和部分观测设置下均优于最先进方法？
• RQ5 与非结构化多变量模型相比，图结构在多大程度上提升了预测精度？

主要发现

• G-VARMA模型的预测误差低于分离ARMA和GP-VAR模型，且在多步预测中性能差距进一步扩大。
• 所提出的低秩近似最小化了重构误差，并显著降低了计算成本，而未牺牲精度。
• 图上的卡尔曼滤波实现了对部分观测过程的最优跟踪，随着随时间采样节点数的增加，rNMSE持续下降。
• 该方法在合成数据和真实世界数据上均优于现有方法，尤其在高维设置和有限训练样本条件下表现更优。
• 理论分析证实，通过选择图信号谱能量的K个最大分量，可获得最优的低秩表示。
• 实验结果表明，图正则化的ARMA模型相比非结构化VARMA或独立ARMA模型，提供了更稳定且更精确的预测。