[论文解读] High-Dimensional Low-Rank Tensor Autoregressive Time Series Modeling

Di Wang, Yao Zheng+1 more|arXiv (Cornell University)|Jan 12, 2021

Tensor decomposition and applications参考文献 38被引用 11

一句话总结

本文提出了一种高维低秩张量自回归（LRTAR）模型，通过Tucker分解结合核范数正则化，高效地建模复杂的多维时间序列（如全球贸易流量）。通过在转移张量中利用低秩结构，该方法在实现显著降维的同时，支持可解释的多维动态因子建模，具有理论保证，并在真实世界数据上表现出强劲的实证性能。

ABSTRACT

Modern technological advances have enabled an unprecedented amount of structured data with complex temporal dependence, urging the need for new methods to efficiently model and forecast high-dimensional tensor-valued time series. This paper provides a new modeling framework to accomplish this task via autoregression (AR). By considering a low-rank Tucker decomposition for the transition tensor, the proposed tensor AR can flexibly capture the underlying low-dimensional tensor dynamics, providing both substantial dimension reduction and meaningful multi-dimensional dynamic factor interpretations. For this model, we first study several nuclear-norm-regularized estimation methods and derive their non-asymptotic properties under the approximate low-rank setting. In particular, by leveraging the special balanced structure of the transition tensor, a novel convex regularization approach based on the sum of nuclear norms of square matricizations is proposed to efficiently encourage low-rankness of the coefficient tensor. To further improve the estimation efficiency under exact low-rankness, a non-convex estimator is proposed with a gradient descent algorithm, and its computational and statistical convergence guarantees are established. Simulation studies and an empirical analysis of tensor-valued time series data from multi-category import-export networks demonstrate the advantages of the proposed approach.

研究动机与目标

• 解决高维、多维张量值时间序列中复杂的时间依赖与横截面依赖建模挑战。
• 通过在转移张量中利用低秩结构，降低高维张量自回归模型的维度。
• 开发在高维渐近条件下兼具计算效率与统计一致性的估计方法。
• 通过系数张量的Tucker分解，实现可解释的多维动态因子结构。
• 在具有多类别、多国家与多时间维度的真实全球贸易流量数据上，验证模型的有效性。

提出的方法

• 提出一种基于系数张量Tucker分解的张量自回归模型，用于在高维张量时间序列中表示低维动态。
• 提出一种新颖的凸正则化方法，基于对称化矩阵化成分的核范数之和，以在转移张量中促进低秩结构。
• 开发一种基于梯度下降的非凸估计器，以在精确低秩假设下提升效率，并提供收敛性保证。
• 采用ADMM算法求解（T）SSN估计器，确保计算可处理性。
• 在近似低秩设定下，推导凸与非凸估计器的非渐近统计性质。
• 将该模型与现有框架（如矩阵自回归与多线性张量自回归）联系起来，表明其为更灵活且更简洁的推广。

Figure 1: Illustration of vector-, matrix- and tensor-valued time series $\mathbf{y}_{t}=(ex_{1,t},im_{1,t},\dots,ex_{N,t},im_{N,t})^{\top}$ , $\mathbf{Y}_{t}=(ex_{i,j,t})_{1\leq i,j\leq N}$ , and $\mbox{\boldmath$\mathscr{Y}$}_{t}=(ex_{i,j,k,t})_{1\leq i,j\leq N,1\leq k\leq K}$ in the context of mo

实验结果

研究问题

• RQ1 对转移张量进行低秩Tucker分解，是否能有效降低高维张量自回归模型的维度？
• RQ2 通过矩阵化成分的核范数之和进行凸正则化，如何促进系数张量中的低秩结构？
• RQ3 在精确低秩张量自回归下，非凸估计器的统计与计算性质如何？
• RQ4 与MAR和MTAR等现有模型相比，该模型在模型简洁性与预测准确性方面表现如何？
• RQ5 该模型能否在真实世界的张量值时间序列（如全球贸易流量）中揭示有意义的多维动态因子结构？

主要发现

• 所提出的基于核范数之和的凸估计器在近似低秩假设下实现了非渐近误差界，确保统计一致性。
• 基于梯度下降的非凸估计器在精确低秩条件下实现更快收敛与更优估计精度，同时具备计算与统计收敛性保证。
• 模拟研究显示，该方法在高维设定下，其预测精度与参数估计性能优于标准VAR与MAR模型。
• 对多类别进出口网络的实证分析证实，该模型能有效捕捉复杂的跨国与跨产品贸易动态，同时实现显著的维度压缩。
• 该模型被证明是矩阵自回归（MAR）与多线性张量自回归（MTAR）模型的推广，可将二者作为特例包含在内。
• 基于Tucker的分解方法可在多个模式（如国家、产品、时间）上实现可解释的动态因子，增强模型透明度。

Figure 2: Average estimation error for TSSN, SSN, MN, and SN estimators for data generated with different $d$ , $p_{i}$ ’s and Tucker ranks in experiment 1