[论文解读] Hierarchical Vector Autoregression

William B. Nicholson, Jacob Bien+1 more|arXiv (Cornell University)|Dec 17, 2014

Monetary Policy and Economic Impact参考文献 70被引用 17

一句话总结

本文提出分层向量自回归（HVAR），一种通过嵌套组套索惩罚将滞后阶数选择整合到凸优化框架中的正则化VAR模型。通过在滞后项上施加有序稀疏性，HVAR在高维时间序列中提升了预测准确性和可解释性，在模拟实验和宏观经济学应用中均优于传统VAR及基于套索的VAR方法。

ABSTRACT

Vector autoregression (VAR) is a fundamental tool for modeling the joint dynamics of multivariate time series. However, as the number of component series is increased, the VAR model quickly becomes overparameterized, making reliable estimation difficult and impeding its adoption as a forecasting tool in high dimensional settings. A number of authors have sought to address this issue by incorporating regularized approaches, such as the lasso, that impose sparse or low-rank structures on the estimated coefficient parameters of the VAR. More traditional approaches attempt to address overparameterization by selecting a low lag order, based on the assumption that dynamic dependence among components is short-range. However, these methods typically assume a single, universal lag order that applies across all components, unnecessarily constraining the dynamic relationship between the components and impeding forecast performance. The lasso-based approaches are more flexible but do not incorporate the notion of lag order selection. We propose a new class of regularized VAR models, called hierarchical vector autoregression (HVAR), that embed the notion of lag selection into a convex regularizer. The key convex modeling tool is a group lasso with nested groups which ensure the sparsity pattern of autoregressive lag coefficients honors the ordered structure inherent to VAR. We provide computationally efficient algorithms for solving HVAR problems that can be parallelized across the components. A simulation study shows the improved performance in forecasting and lag order selection over previous approaches, and a macroeconomic application further highlights forecasting improvements as well as the convenient, interpretable output of a HVAR model.

研究动机与目标

• 通过将滞后阶数选择整合到正则化中，解决高维向量自回归（VAR）模型中的过度参数化问题。
• 克服固定滞后阶数VAR的局限性，后者假设所有分量的滞后依赖性均相同，并对动态关系施加约束。
• 开发一种凸优化框架，保留自回归滞后项的有序结构，同时实现稀疏且可解释的系数估计。
• 通过结合结构化稀疏性与高效可并行计算，提升高维设置下的预测性能。
• 为现有正则化VAR方法提供一种更具可解释性和准确性的替代方案，这些方法未显式建模滞后阶数选择。

提出的方法

• HVAR采用嵌套组套索惩罚，对滞后系数施加分层稀疏性，确保若包含高阶滞后，则所有低阶滞后也必须被包含。
• 正则化结构旨在反映VAR模型中滞后项的自然顺序，保持依赖关系的因果性和时间序列顺序。
• 该方法将估计问题表述为凸优化问题，通过坐标下降或其他近端算法实现高效计算。
• 算法可在各分量间并行处理，使其可扩展至包含大量变量的高维时间序列。
• 对每个滞后阶数对应的系数组应用组套索惩罚，促进结构化稀疏性。
• 该方法允许对每个变量自动选择滞后阶数，从而实现各分量间异质的动态依赖关系。

实验结果

研究问题

• RQ1 能否通过显式整合滞后阶数选择的正则化VAR模型，在预测准确性上超越传统VAR和基于套索的VAR方法？
• RQ2 通过嵌套组套索施加分层稀疏性，是否能提升估计VAR系数的可解释性和结构？
• RQ3 在标准VAR模型变得过度参数化的高维设置下，HVAR表现如何？
• RQ4 HVAR在多变量时间序列中识别不同分量间异质滞后阶数的能力有多大？
• RQ5 HVAR框架是否可通过并行化实现高效计算并扩展至大规模数据集？

主要发现

• 在模拟研究中，HVAR相较于标准VAR和基于套索的VAR方法，显著提升了预测准确性。
• 该模型成功识别出各分量间的异质滞后阶数，反映了真实的潜在动态依赖关系。
• HVAR在滞后阶数选择性能上优于竞争方法，在合成数据中能正确识别真实滞后结构。
• 凸优化框架支持高效计算，其算法可有效在变量间并行化。
• 在宏观经济学应用中，HVAR在实现优越预测性能的同时，生成了可解释且稀疏的系数矩阵。
• 嵌套组套索结构确保了滞后系数的稀疏模式尊重自回归项的时间顺序。