[论文解读] Multi-linear Tensor Autoregressive Models

Zebang Li, Xiao Han|arXiv (Cornell University)|Oct 3, 2021

Tensor decomposition and applications参考文献 47被引用 5

一句话总结

本文提出了一种多线性张量自回归模型（TenAR），用于保留固有多维结构的张量值时间序列，避免向量化处理。该模型引入了三种估计器——投影法、最小二乘法和最大似然法，并在固定维数下建立了渐近正态性，在高维数下给出了收敛速率，通过扩展的贝信息准则（BIC）进行模型选择，在模拟数据和真实数据（包括Fama-French投资组合与出租车需求）上均表现出优越的预测性能。

ABSTRACT

Contemporary time series analysis has seen more and more tensor type data, from many fields. For example, stocks can be grouped according to Size, Book-to-Market ratio, and Operating Profitability, leading to a 3-way tensor observation at each month. We propose an autoregressive model for the tensor-valued time series, with autoregressive terms depending on multi-linear coefficient matrices. Comparing with the traditional approach of vectoring the tensor observations and then applying the vector autoregressive model, the tensor autoregressive model preserves the tensor structure and admits corresponding interpretations. We introduce three estimators based on projection, least squares, and maximum likelihood. Our analysis considers both fixed dimensional and high dimensional settings. For the former we establish the central limit theorems of the estimators, and for the latter we focus on the convergence rates and the model selection. The performance of the model is demonstrated by simulated and real examples.

研究动机与目标

• 为解决向量自回归模型因向量化处理而丢失张量结构的局限性，提出一种保留多线性关系的张量值自回归模型。
• 开发尊重张量形式的估计方法——投影法、最小二乘法和最大似然法，以支持统计推断。
• 在固定维数设定下建立最小二乘估计量（LSE）和最大似然估计量（MLE）的渐近正态性，在高维数设定下分析其收敛速率。
• 提出一种扩展的贝信息准则（BIC），用于在固定维数和高维数设定下一致地选择自回归阶数与K-秩。
• 在真实世界的张量时间序列上，证明TenAR模型在预测性能上优于标准向量自回归（VAR）和单变量AR模型。

提出的方法

• 通过在各模式上使用系数矩阵进行多线性运算，构建基于多线性项的张量自回归模型，其中每个滞后张量均通过多线性操作与系数矩阵相乘。
• 通过在系数矩阵上交替优化，开发最小二乘估计量（LSE），该方法依赖于良好的初始值。
• 在可分协方差假设下推导最大似然估计量（MLE），同样通过交替算法求解。
• 提出一种基于投影的估计器，作为LSE与MLE的计算高效初始值，以牺牲部分效率换取更高的稳定性。
• 引入扩展的BIC，用于选择自回归阶数及每阶滞后中多线性项的数量（即K-秩）。
• 应用迭代算法估计系数矩阵，通过在张量各模式上的迭代更新监控收敛性。

实验结果

研究问题

• RQ1 多线性自回归模型能否在张量值时间序列中保持张量结构，并相比向量化VAR模型提升可解释性？
• RQ2 在固定维数的张量自回归模型中，LSE与MLE的渐近性质如何？
• RQ3 在高维数设定下，这些估计器的表现如何？其收敛速率如何？
• RQ4 扩展的BIC能否在固定维数与高维数设定下一致地选择最优自回归阶数与K-秩？
• RQ5 TenAR模型在张量值时间序列预测中是否优于标准VAR与单变量AR模型？

主要发现

• 在出租车需求数据上，采用七阶滞后（p=7）的TenAR模型（MLE）取得了最佳预测性能，优于所有其他模型。
• 在Fama-French投资组合数据上，所有TenAR(p)模型均优于单独的AR(p)与VAR(p)模型，其中p=7时表现最佳。
• LSE与MLE表现相近，MLE在最优模型（p=5）中略胜于LSE，表明似然方法具有良好的鲁棒性。
• 投影估计器作为LSE与MLE交替算法的有效初始值，显著提升了收敛稳定性。
• 使用扩展BIC的模型选择在固定维数与高维数设定下均表现一致，能正确识别最优模型结构。
• 模型选择过程表明，增加K-秩并不总能提升性能——例如在某些情况下，R=(1,1)优于R=(3,3)，说明模型复杂度需合理权衡。