[论文解读] Low-Rank Autoregressive Tensor Completion for Multivariate Time Series Forecasting

Xinyu Chen, Lijun Sun|arXiv (Cornell University)|Jun 18, 2020

Tensor decomposition and applications参考文献 30被引用 20

一句话总结

本文提出低秩自回归张量补全（LATC）框架，将多变量时间序列转化为三阶张量（传感器 × 一天中时间 × 天），以联合建模全局低秩模式与局部自回归趋势。LATC通过整合张量核范数最小化与一种新型自回归范数，在三个真实世界数据集上实现了缺失数据插补与滚动预测的最先进性能。

ABSTRACT

Time series prediction has been a long-standing research topic and an essential application in many domains. Modern time series collected from sensor networks (e.g., energy consumption and traffic flow) are often large-scale and incomplete with considerable corruption and missing values, making it difficult to perform accurate predictions. In this paper, we propose a low-rank autoregressive tensor completion (LATC) framework to model multivariate time series data. The key of LATC is to transform the original multivariate time series matrix (e.g., sensor$ imes$time point) to a third-order tensor structure (e.g., sensor$ imes$time of day$ imes$day) by introducing an additional temporal dimension, which allows us to model the inherent rhythms and seasonality of time series as global patterns. With the tensor structure, we can transform the time series prediction and missing data imputation problems into a universal low-rank tensor completion problem. Besides minimizing tensor rank, we also integrate a novel autoregressive norm on the original matrix representation into the objective function. The two components serve different roles. The low-rank structure allows us to effectively capture the global consistency and trends across all the three dimensions (i.e., similarity among sensors, similarity of different days, and current time v.s. the same time of historical days). The autoregressive norm can better model the local temporal trends. Our numerical experiments on three real-world data sets demonstrate the superiority of the integration of global and local trends in LATC in both missing data imputation and rolling prediction tasks.

研究动机与目标

• 解决大规模、不完整多变量时间序列中存在缺失值与数据污染时的精准预测挑战。
• 克服传统模型在高维、不完整数据中难以同时捕捉全局时间模式与局部动态的局限性。
• 构建一个统一框架，将插补与预测统一为单一的张量补全问题。
• 将传感器、一天中时间与天三个维度上的全局低秩结构与局部自回归动态相结合，以提升预测准确性。
• 通过利用张量结构更好地建模复杂时空依赖关系，使所有观测数据均能贡献于最终预测。

提出的方法

• 将原始多变量时间序列矩阵（传感器 × 时间点）转换为三阶张量（传感器 × 一天中时间 × 天），以捕捉每日与每周的季节性特征。
• 应用张量核范数最小化与截断核范数最小化，以在所有三个维度上强制实现低秩结构，建模全局一致性与长期趋势。
• 在原始矩阵表示上引入一种新型自回归范数，以捕捉短期、局部的时间动态与细粒度的时间相关性。
• 将目标函数表述为低秩张量补全与自回归正则化的组合，实现联合优化。
• 使用交替方向乘子法（ADMM）或类似优化技术求解非凸、非光滑的优化问题。
• 在观测数据上端到端训练模型，以预测缺失值与未来时间点，预测窗口由用户定义。

实验结果

研究问题

• RQ1 将多变量时间序列转换为张量结构是否能提升在缺失数据存在下对全局与局部时间模式的建模能力？
• RQ2 低秩张量补全与自回归范数的结合，相较于单独使用任一组件，在时间序列预测中的表现如何？
• RQ3 LATC 在插补与滚动预测任务中，相较于最先进矩阵与张量基模型，性能提升程度如何？
• RQ4 与基于矩阵的方法相比，张量表示是否能更有效地利用所有观测数据，包括跨天与不同时段的历史模式？
• RQ5 LATC 是否能有效处理大规模、高维时间序列中存在显著缺失值的情况，同时保持计算可行性？

主要发现

• LATC 在所有三个真实世界数据集上均实现了最佳插补精度，优于低秩张量模型（如 HaLRTC）与基于矩阵的模型（如 TRMF、BTMF）。
• 自回归范数的引入显著提升了性能，如 LATC-TNN 在所有插补与预测任务中均优于 HaLRTC-TNN。
• 在滚动预测中，LATC-TNN 在原始数据（P）上的平均 MAPE 为 6.39，RMSE 为 4.97，显著优于 TRMF（11.30/7.19）与 BTMF（8.83/5.95）。
• 在 ETT 数据集上，当缺失比例达 40% 且为非随机缺失（NM）条件时，LATC-TNN 的 MAPE 为 7.88，RMSE 为 5.65，显著优于次优模型（12.67/4.87）。
• 结果表明，在不完整时间序列预测中，同时建模全局（低秩）与局部（自回归）模式对实现鲁棒性能至关重要。
• LATC-TNN 始终优于其基于神经网络的对应模型（LATC-NN），证实了低秩张量结构在捕捉长期依赖关系方面的有效性。