[论文解读] Tensor Factor Model Estimation by Iterative Projection

Yuefeng Han, Rong Chen+2 more|arXiv (Cornell University)|Jun 4, 2020

Tensor decomposition and applications参考文献 30被引用 14

一句话总结

本文提出了一种用于高维张量时间序列中张量因子模型估计的迭代正交投影方法，将Tucker分解扩展至动态设置。通过利用自相关性和张量展开，该方法实现了更高的估计精度和更快的收敛速度，并在样本大小和收敛最优性方面提供了理论保证。

ABSTRACT

Tensor time series, which is a time series consisting of tensorial observations, has become ubiquitous. It typically exhibits high dimensionality. One approach for dimension reduction is to use a factor model structure, in a form similar to Tucker tensor decomposition, except that the time dimension is treated as a dynamic process with a time dependent structure. In this paper we introduce two approaches to estimate such a tensor factor model by using iterative orthogonal projections of the original tensor time series. These approaches extend the existing estimation procedures and improve the estimation accuracy and convergence rate significantly as proven in our theoretical investigation. Our algorithms are similar to the higher order orthogonal projection method for tensor decomposition, but with significant differences due to the need to unfold tensors in the iterations and the use of autocorrelation. Consequently, our analysis is significantly different from the existing ones. Computational and statistical lower bounds are derived to prove the optimality of the sample size requirement and convergence rate for the proposed methods. Simulation study is conducted to further illustrate the statistical properties of these estimators.

研究动机与目标

• 填补一般张量时间序列中具有动态依赖关系的统计框架的空白。
• 开发一种能够捕捉高维张量数据中复杂时间动态的因子模型。
• 相较于现有方法，提升张量因子模型的估计精度和收敛速度。
• 建立样本大小和收敛速率的理论下界，以证明方法的最优性。
• 将传统Tucker分解扩展至包含张量时间序列中时变因子结构的设置。

提出的方法

• 提出两种迭代投影算法，通过张量时间序列的正交投影来估计低秩信号分量。
• 在迭代更新中引入自相关结构，以捕捉时间动态。
• 在迭代过程中对不同模式下的张量进行展开，以处理多维数据结构。
• 利用矩阵和张量的浓度不等式，推导估计误差的概率界。
• 应用高阶奇异值分解（HOSVD）原理，并针对时间序列背景进行修改。
• 建立计算和统计下界，以验证所提方法的最优性。

实验结果

研究问题

• RQ1 在具有复杂时间动态的高维张量时间序列中，如何有效估计张量因子模型？
• RQ2 对于具有时变分量的张量因子模型，一致估计所需的最优样本量是多少？
• RQ3 所提出的迭代投影方法在收敛速度和估计精度方面与现有方法相比如何？
• RQ4 能否推导出理论下界，以证明所提方法收敛速率和样本量的最优性？
• RQ5 自相关性在提升张量因子模型估计性能方面起到什么作用？

主要发现

• 所提出的迭代投影方法相较于现有方法实现了更快的收敛速度和更高的估计精度。
• 理论分析表明，样本量要求达到最优，与推导出的计算和统计下界一致。
• 估计量的收敛速率匹配极小化最大风险下界，表明具有理论最优性。
• 该方法对弱因子具有鲁棒性，并且即使某些因子仅影响张量条目的一小部分，也能保持精度。
• 模拟研究证实了估计量的改进统计特性，包括稳定性与低均方误差。
• 理论界以高概率成立，确保在一般噪声假设（如次高斯或高斯噪声）下性能可靠。