[论文解读] BigVAR: Tools for Modeling Sparse High-Dimensional Multivariate Time Series

William B. Nicholson, David S. Matteson+1 more|arXiv (Cornell University)|Feb 23, 2017

Forecasting Techniques and Applications参考文献 16被引用 22

一句话总结

本文提出了 BigVAR，一种用于通过正则化 VAR 模型估计稀疏、高维多变量时间序列的计算框架。它提出了一种两步法的 'Relaxed Basic VAR-L' 估计程序，通过将广义最小二乘法应用于经分组 lasso 选择的系数，避免了低效的最小二乘法重新拟合，从而提高了效率。该方法通过 Cholesky 分解和 MA 表示实现了精确的脉冲响应分析，在高维 VAR 模型的可扩展推断与结构识别方面具有关键贡献。

ABSTRACT

The R package BigVAR allows for the simultaneous estimation of high-dimensional time series by applying structured penalties to the conventional vector autoregression (VAR) and vector autoregression with exogenous variables (VARX) frameworks. Our methods can be utilized in many forecasting applications that make use of time-dependent data such as macroeconomics, finance, and internet traffic. Our package extends solution algorithms from the machine learning and signal processing literatures to a time dependent setting: selecting the regularization parameter by sequential cross validation and provides substantial improvements in forecasting performance over conventional methods. We offer a user-friendly interface that utilizes R's s4 object class structure which makes our methodology easily accessible to practicioners. In this paper, we present an overview of our notation, the models that comprise BigVAR, and the functionality of our package with a detailed example using publicly available macroeconomic data. In addition, we present a simulation study comparing the performance of several procedures that refit the support selected by a BigVAR procedure according to several variants of least squares and conclude that refitting generally degrades forecast performance.

研究动机与目标

• 解决在高维 VAR 模型中变量选择后标准最小二乘法重新拟合的低效问题。
• 通过利用广义最小二乘法引入线性约束，提高稀疏、高维 VAR 模型中的估计效率。
• 通过 Cholesky 分解实现恰当的结构识别，使高维 VAR 模型中的可靠脉冲响应分析成为可能。
• 为大规模多变量时间序列中的滞后阶数选择与系数估计，开发一种计算高效的框架。
• 在具有受限估计理论基础的 VAR 模型中，提供结构化正则化（如分组 lasso）的可扩展实现。

提出的方法

• 采用两步估计程序：首先，对 VAR(p) 模型中的非零系数应用分组 lasso，得到稀疏系数矩阵 $\hat{\Phi}$。
• 通过线性约束表示所选系数：$\text{vec}(\hat{\Phi}) = R\hat{\phi}$，其中 $R$ 是秩为 $r$ 的选择矩阵。
• 对受限模型应用广义最小二乘法（GLS），以提高渐近效率，避免低效的 OLS 重新拟合。
• 将 VAR(p) 转换为 VAR(1) 形式以实现可处理的表示：$Y_t = \nu + A Y_{t-1} + U_t$，假设平稳性。
• 通过预乘以选择矩阵 $J$，推导出移动平均（MA）表示 $Y_t = \mu + \sum_{i=0}^\infty \Gamma_i U_{t-i}$，从而实现脉冲响应计算。
• 执行 Cholesky 分解 $\Sigma_u = CC^\top$ 以识别结构冲击，然后通过 $w_t = C^{-1}U_t$ 转换冲击，得到 $\Theta_i = \Gamma_i C$ 用于脉冲响应函数。

实验结果

研究问题

• RQ1 结合分组 lasso 选择与 GLS 重新拟合的两步估计程序，是否能相比标准 OLS 重新拟合，在高维 VAR 模型中提升估计效率？
• RQ2 在具有非对角误差协方差的高维、稀疏 VAR 模型中，如何可靠地计算脉冲响应函数？
• RQ3 在 VAR 系数上施加线性约束时，受限估计（如 GLS）在提高渐近效率方面起什么作用？
• RQ4 如何在保持统计效率与可解释性的同时，减轻高维 VAR 估计的计算负担？
• RQ5 通过 Cholesky 分解实现恰当识别，对稀疏 VAR 模型中脉冲响应函数的有效性与可解释性有何影响？

主要发现

• 所提出的 'Relaxed Basic VAR-L' 程序通过在分组 lasso 选择后用 GLS 取代 OLS 重新拟合，提高了估计效率，利用了 GLS 在参数约束下的理论优势。
• 该方法通过使用三角形求解器避免了显式矩阵求逆，从而增强了计算可扩展性。
• 通过 MA 表示与 Cholesky 分解，可靠地计算了脉冲响应函数，确保在误差相关情况下的结构识别。
• 该框架通过实现 Algorithm LABEL:algIC 支持高效的滞后阶数选择，使高维设置下的实际应用成为可能。
• 第二步中使用广义最小二乘法确保了渐近效率，即使部分系数被约束为零，其在有限样本中也优于标准 OLS。