[论文解读] High-dimensional Time Series Prediction with Missing Values

Hsiang‐Fu Yu, Nikhil Rao+1 more|arXiv (Cornell University)|Sep 28, 2015

Time Series Analysis and Forecasting参考文献 23被引用 17

一句话总结

该论文提出了一种名为时序正则化矩阵分解（TRMF）的新框架，将数据驱动的时序依赖学习整合到矩阵分解中，用于处理具有缺失值的高维时间序列。通过学习一个转移矩阵来建模时序相关性，并利用低秩分解，TRMF在真实和合成数据集的预测与填补任务中均实现了最先进性能，优于经典和现有的矩阵分解方法。

ABSTRACT

High-dimensional time series prediction is needed in applications as diverse as demand forecasting and climatology. Often, such applications require methods that are both highly scalable, and deal with noisy data in terms of corruptions or missing values. Classical time series methods usually fall short of handling both these issues. In this paper, we propose to adapt matrix matrix completion approaches that have previously been successfully applied to large scale noisy data, but which fail to adequately model high-dimensional time series due to temporal dependencies. We present a novel temporal regularized matrix factorization (TRMF) framework which supports data-driven temporal dependency learning and enables forecasting ability to our new matrix factorization approach. TRMF is highly general, and subsumes many existing matrix factorization approaches for time series data. We make interesting connections to graph regularized matrix factorization methods in the context of learning the dependencies. Experiments on both real and synthetic data show that TRMF outperforms several existing approaches for common time series tasks.

研究动机与目标

• 解决经典时间序列模型在处理高维、大规模且存在缺失值的数据时的局限性。
• 开发一种可扩展的矩阵分解框架，以捕捉时间序列数据中的时序依赖。
• 在无需完整数据的情况下，实现高维时间序列的有效预测与缺失值填补。
• 通过引入可学习的时序动态，推广现有的矩阵分解与图正则化方法。

提出的方法

• TRMF将时间序列预测建模为低秩矩阵分解问题，将数据矩阵 $ Y \in \mathbb{R}^{n \times T} $ 近似为 $ Y \approx FX $，其中 $ F $ 捕获时间序列特定的特征，$ X $ 捕获随时间变化的潜在状态。
• 引入一种时序正则化项，通过学习一个转移矩阵 $ M_\Theta $ 来建模时间点之间的依赖关系，取代先前方法中使用的固定或无结构的正则化项。
• 优化一个正则化目标函数：$ \min_{F,X} \sum_{(i,t) \in \Omega} (Y_{it} - \mathbf{f}_i^\top \mathbf{x}_t)^2 + \lambda_f \mathcal{R}_f(F) + \lambda_x \mathcal{R}_x(X) $，其中 $ \Omega $ 表示观测到的条目。
• 时序正则化项 $ \mathcal{R}_x(X) $ 基于一个学习得到的转移矩阵，用于编码时序动态，实现数据驱动的依赖学习，而非依赖预定义的图结构。
• TRMF通过利用学习到的潜在动态，既能预测未来时间点，也能重建缺失条目，从而同时支持预测与填补任务。
• 该框架推广了多种现有方法，包括AR模型和图正则化MF，在不同正则化配置下可将其作为特例包含在内。

实验结果

研究问题

• RQ1 能否有效将矩阵分解扩展至建模具有缺失值的高维时间序列中的时序依赖？
• RQ2 如何从数据中学习时序依赖，而非通过固定或图结构强制施加？
• RQ3 与经典时间序列模型相比，矩阵分解中采用数据驱动的时序正则化是否能提升预测与填补的准确性？
• RQ4 TRMF能否在大规模真实世界时间序列数据集（如Walmart销售或电力消耗数据）中实现可扩展性，即使存在缺失数据？

主要发现

• 在电力和交通数据集上，TRMF-AR在24小时预测任务中优于所有对比方法，RMSE低于SVD-AR(1)、DLM和TCF。
• 在Walmart-1数据集上，TRMF的测试RMSE为1.239，显著低于DLM（1.453）和TCF（1.320）。
• 在缺失值填补任务中，TRMF在所有测试数据集和缺失率水平下均取得最低RMSE；在50%缺失数据的交通数据上，TRMF的RMSE为0.184，优于DLM（0.224）和TCF（0.193）。
• TRMF在大规模数据上表现出良好的可扩展性与稳定性，而R-DLM在 $ n \geq 32 $ 时无法运行，凸显了TRMF在实际应用中的优势。
• TRMF推广了现有方法，可将AR模型和图正则化MF作为不同正则化配置下的特例，展现出其灵活性与坚实的理论基础。