[论文解读] A Survey of Estimation Methods for Sparse High-dimensional Time Series Models

Sumanta Basu, David S. Matteson|arXiv (Cornell University)|Jul 30, 2021

Statistical Methods and Inference参考文献 69被引用 4

一句话总结

本文综述了基于lasso的稀疏高维时间序列模型估计方法，重点针对随机回归和向量自回归（VAR）模型，以应对在样本有限条件下对大规模依赖系统进行估计的挑战。研究结果表明，HVAR模型中的分层滞后惩罚显著提升了预测准确性，优于标准lasso-VAR和基准模型，其中HVAR-E的均方预测误差最低（MSFE = 0.950）。

ABSTRACT

High-dimensional time series datasets are becoming increasingly common in many areas of biological and social sciences. Some important applications include gene regulatory network reconstruction using time course gene expression data, brain connectivity analysis from neuroimaging data, structural analysis of a large panel of macroeconomic indicators, and studying linkages among financial firms for more robust financial regulation. These applications have led to renewed interest in developing principled statistical methods and theory for estimating large time series models given only a relatively small number of temporally dependent samples. Sparse modeling approaches have gained popularity over the last two decades in statistics and machine learning for their interpretability and predictive accuracy. Although there is a rich literature on several sparsity inducing methods when samples are independent, research on the statistical properties of these methods for estimating time series models is still in progress. We survey some recent advances in this area, focusing on empirically successful lasso based estimation methods for two canonical multivariate time series models - stochastic regression and vector autoregression. We discuss key technical challenges arising in high-dimensional time series analysis and outline several interesting research directions.

研究动机与目标

• 综述在时间依赖条件下，稀疏高维时间序列模型估计的最新方法论与理论进展。
• 解决在有限平稳观测条件下，高维系统中一致结构估计的挑战。
• 评估在向量自回归模型中，基于分层滞后惩罚结构的性能，以提升预测准确性和稀疏性。
• 识别高维时间序列分析中的开放性理论与建模挑战，包括调参选择与不确定性量化。
• 突出在宏观经济学、金融学、基因组学和神经科学中，稀疏建模如何实现对系统动态的可解释推断。

提出的方法

• 将lasso（最小绝对收缩与选择算子）应用于高维时间序列模型，特别是随机回归和VAR模型，以在系数估计中引入稀疏性。
• 提出基于分层滞后的惩罚结构——HVAR_C（分量式）、HVAR_O（自身/其他）和HVAR_E（元素式），以整合时间依赖性和滞后特定的稀疏性。
• 采用扩展窗口交叉验证程序，基于最小化一步 ahead 均方预测误差（MSFE）来选择调参。
• 使用bigtime R包进行模型拟合并可视化，包括滞后矩阵热图和有向网络图，以表示估计的滞后领先关系。
• 将该方法应用于真实世界数据，包括一家美国超市连锁的16类商品销售数据，时间跨度为T=76周。
• 通过样本外MSFE对比模型性能，与标准lasso-VAR、样本均值和随机游走基准模型进行比较。

实验结果

研究问题

• RQ1 如何将基于lasso的估计方法调整以处理样本有限的高维时间序列中的时间依赖性？
• RQ2 在高维VAR模型中，不同分层滞后惩罚结构（HVAR_C、HVAR_O、HVAR_E）的相对预测性能如何？
• RQ3 在现实经济与金融数据中，VAR模型的稀疏估计是否能提升预测准确性，相比非稀疏或标准lasso-VAR方法？
• RQ4 在时间依赖条件下，发展稀疏估计的渐近理论面临哪些关键技术挑战，特别是针对非高斯、非平稳或长记忆过程？
• RQ5 如何将结构信息与图模型框架整合，以更好地捕捉多变量时间序列中的滞后条件独立性？

主要发现

• 在Dominick’s销售数据集上，HVAR_E方法在所有评估方法中实现了最低的样本外均方预测误差（MSFE = 0.950）。
• 所有HVAR方法（HVAR_C、HVAR_O、HVAR_E）均显著优于标准lasso-VAR（MSFE = 1.120）、样本均值（MSFE = 1.174）和随机游走模型（MSFE = 3.785）。
• 估计的HVAR_E模型表现出稀疏结构，滞后矩阵中大多数非对角线元素被估计为零，最强连接出现在冷冻晚餐与冷冻主菜之间。
• 网络可视化显示了一个相对稀疏的有向图，特定商品类别之间具有高连通性，表明存在有意义的滞后领先关系。
• 每个MSFE估计的近似标准误约为0.091，表明HVAR方法之间的性能差异变异度较低。
• 本研究证明，在稀疏估计中引入分层滞后结构，可同时提升高维时间序列建模的可解释性与预测准确性。