[论文解读] High-Dimensional Multivariate Forecasting with Low-Rank Gaussian Copula Processes

David Salinas, Michael Bohlke‐Schneider+3 more|arXiv (Cornell University)|Oct 7, 2019

Time Series Analysis and Forecasting被引用 38

一句话总结

本论文通过将基于 LSTM 的自回归模型与低秩加对角高斯 Copula 输出相结合，提出一个可扩展的高维多变量预测框架，使在数千个时间序列中实现随时间变化的相关性，且边际分布非高斯。

ABSTRACT

Predicting the dependencies between observations from multiple time series is critical for applications such as anomaly detection, financial risk management, causal analysis, or demand forecasting. However, the computational and numerical difficulties of estimating time-varying and high-dimensional covariance matrices often limits existing methods to handling at most a few hundred dimensions or requires making strong assumptions on the dependence between series. We propose to combine an RNN-based time series model with a Gaussian copula process output model with a low-rank covariance structure to reduce the computational complexity and handle non-Gaussian marginal distributions. This permits to drastically reduce the number of parameters and consequently allows the modeling of time-varying correlations of thousands of time series. We show on several real-world datasets that our method provides significant accuracy improvements over state-of-the-art baselines and perform an ablation study analyzing the contributions of the different components of our model.

研究动机与目标

• 通过捕捉随时间变化的依赖关系来预测许多相关时间序列的挑战，而无需估计大型协方差矩阵。
• 开发一个可扩展的模型，将自回归神经网络与低秩协方差结构结合。
• 通过基于 Copula 的变换处理非高斯边际分布，以在异质序列之间稳定学习。
• 在真实世界的大规模数据集上展示预测准确性的提升，同时保持计算效率。

提出的方法

• 使用自回归 RNN（LSTM）在跨序列共享参数的情况下演化每个序列的潜在状态。
• 用高斯 Copula 对边际变换 f_i 建模联合发射 p(z_t | h_t)，通过经验分布函数（CDF）标准化边际分布。
• 将协方差参数化为 Sigma(h_t) = D_t + V_t V_t^T 的低秩加对角矩阵，其中 V_t 和 D_t 由每个序列特征和 LSTM 状态的共享函数产生。
• 通过将边际变换设为 f_i = Phi^{-1} ︎_hat_i 来处理尺度变化和非高斯性，使高维情景下的高斯 Copula 成为可行。
• 将变换后的观测 x_t 解释为具有结构化核的随时间变化的高斯过程，从而在批大小 B << N 的小批量上实现可扩展训练。
• 通过最大似然端到端训练，使用数据增强策略对固定长度切片进行采样以处理长序列。

实验结果

研究问题

• RQ1 低秩协方差结构结合高斯 Copula 输出是否能在数千个时间序列中实现准确的概率预测？
• RQ2 在时间序列之间共享参数并对每个序列进行边际变换，是否在不牺牲准确性的前提下提高可扩展性？
• RQ3 非高斯边际分布如何影响多变量预测，基于 Copula 的处理能否在多样化序列中稳定性能？
• RQ4 在大规模数据集上，低秩参数选择对预测精度和计算效率的影响是什么？

主要发现

• 所提出的 GP-Copula 配合低秩协方差在若干真实数据集上相对于基线实现了显著的准确性提升。
• 相对最新方法，CRPS 和 CRPS-Sum 指标显著降低，同时具备显著的参数效率。
• 模型可扩展性使得能够处理包含数千个时间序列的数据集，将协方差参数从 O(N^2) 降至 O(N r)（其中 r 通常远小于 N）。
• 基于经验CDF的经验边际变换在尺度调整和非高斯性方面效果显著，优于简单的均值缩放方法，提高鲁棒性。
• 该方法提供了随时间演化且可解释的协方差结构，如 Taxi 等数据集中的预测相关图可视化所示。