[论文解读] High-dimensional vector autoregressive time series modeling via tensor decomposition

Di Wang, Yao Zheng+2 more|arXiv (Cornell University)|Sep 14, 2019

Tensor decomposition and applications参考文献 60被引用 9

一句话总结

本文提出一种基于张量的向量自回归（VAR）模型，利用Tucker分解在变量、滞后阶数和时间三个维度上同时实现降维，从而在高维时间序列中实现高效估计。该方法通过结合低秩结构与诱导稀疏性的正则化，实现了更优的预测精度和可解释性，在模拟实验和真实数据实验中均优于现有的VAR、DFM和RRR方法。

ABSTRACT

The classical vector autoregressive model is a fundamental tool for multivariate time series analysis. However, it involves too many parameters when the number of time series and lag order are even moderately large. This paper proposes to rearrange the transition matrices of the model into a tensor form such that the parameter space can be restricted along three directions simultaneously via tensor decomposition. In contrast, the reduced-rank regression method can restrict the parameter space in only one direction. Besides achieving substantial dimension reduction, the proposed model is interpretable from the factor modeling perspective. Moreover, to handle high-dimensional time series, this paper considers imposing sparsity on factor matrices to improve the model interpretability and estimation efficiency, which leads to a sparsity-inducing estimator. For the low-dimensional case, we derive asymptotic properties of the proposed least squares estimator and introduce an alternating least squares algorithm. For the high-dimensional case, we establish non-asymptotic properties of the sparsity-inducing estimator and propose an ADMM algorithm for regularized estimation. Simulation experiments and a real data example demonstrate the advantages of the proposed approach over various existing methods.

研究动机与目标

• 为解决当变量数和滞后阶数适中偏大时，经典高维VAR模型参数过多的问题。
• 通过在转移张量的三个模式上同时施加低秩约束，克服传统降秩回归仅在一个方向上限制参数空间的局限性。
• 通过在因子矩阵上施加稀疏性，提升高维设定下的模型可解释性和估计效率。
• 在正交性和稀疏性约束下，开发计算上可行的估计方法——低维情况下采用交替最小二乘法，高维情况下采用ADMM算法。

提出的方法

• 将VAR模型的转移矩阵重排为三阶张量，利用Tucker分解挖掘其多线性低秩结构。
• 对张量化的VAR模型应用Tucker分解，从而在变量、滞后阶数和时间三个方向上限制参数空间。
• 通过在因子矩阵上施加ℓ₁-正则化，引入诱导稀疏性的估计器，以增强模型可解释性并防止过拟合。
• 在核心张量和因子矩阵上施加正交性约束的条件下，开发交替最小二乘算法用于低维估计。
• 提出ADMM算法，用于在高维设定下求解联合ℓ₁-正则化与正交性约束的估计问题。
• 采用滚动预测程序评估模型在宏观经济数据上的性能，与DFM、RRR和正则化VAR方法进行比较。

实验结果

研究问题

• RQ1 Tucker分解是否能够使VAR转移张量在变量、滞后阶数和时间三个模式上实现超越降秩回归的同步降维？
• RQ2 在Tucker分解的因子矩阵上施加稀疏性，如何影响高维时间序列中模型的可解释性和估计效率？
• RQ3 在不同模型设定下，所提出的最小二乘估计器与诱导稀疏性估计器的渐近与非渐近性质如何？
• RQ4 在真实宏观经济数据上，所提出的基于张量的VAR模型在预测精度方面与DFM、RRR和正则化VAR模型相比表现如何？

主要发现

• 在真实数据示例中，所提出的SHORR估计器（结合Tucker分解与稀疏性）在所有对比方法中，于ℓ₂和ℓ∞范数下均实现了最小的预测误差。
• MLR与SHORR估计器在预测精度上显著优于DFM（r=4）、正则化VAR和未正则化的RRR，证明了三重降维的优势。
• Tucker分解框架将参数数量从N²P减少至r₁r₂r₃ + (N−r₁)r₁ + (N−r₂)r₂ + (T−r₃)r₃，实现了高维设定下的可扩展估计。
• ADMM算法有效应对了因子矩阵上联合ℓ₁-正则化与正交性约束带来的计算挑战，确保了稳定的收敛性。
• 在模拟实验与真实数据中，当变量数和滞后阶数适中偏大时，所提模型仍保持优异性能，其偏差与方差均优于现有方法。