[论文解读] Large Vector Auto Regressions

Song Song, Peter J. Bickel|arXiv (Cornell University)|Jun 20, 2011

Face and Expression Recognition被引用 57

一句话总结

本文提出了一种新颖的大维向量自回归（LARGE-VAR）框架，可同时选择相关变量和滞后项，同时考虑时间依赖性和高维空间结构。通过整合组套索惩罚项和数据驱动的滚动方案进行调参，该方法在预测中实现了Oracle效率，在高维、小样本条件下，且存在强序列相关性和跨期依赖时，优于标准套索和现有VAR估计器。

ABSTRACT

One popular approach for nonstructural economic and financial forecasting is to include a large number of economic and financial variables, which has been shown to lead to significant improvements for forecasting, for example, by the dynamic factor models. A challenging issue is to determine which variables and (their) lags are relevant, especially when there is a mixture of serial correlation (temporal dynamics), high dimensional (spatial) dependence structure and moderate sample size (relative to dimensionality and lags). To this end, an extit{integrated} solution that addresses these three challenges simultaneously is appealing. We study the large vector auto regressions here with three types of estimates. We treat each variable's own lags different from other variables' lags, distinguish various lags over time, and is able to select the variables and lags simultaneously. We first show the consequences of using Lasso type estimate directly for time series without considering the temporal dependence. In contrast, our proposed method can still produce an estimate as efficient as an extit{oracle} under such scenarios. The tuning parameters are chosen via a data driven "rolling scheme" method to optimize the forecasting performance. A macroeconomic and financial forecasting problem is considered to illustrate its superiority over existing estimators.

研究动机与目标

• 解决在强时间依赖性和中等样本规模下，高维向量自回归模型中相关变量与滞后项选择的挑战。
• 克服标准套索在时间序列中应用的局限性，通过显式建模时间动态和变量间依赖关系。
• 开发一种数据驱动的调参方法——'滚动方案'，以优化高维VAR设置下的预测性能。
• 在宏观经济学和金融应用中，证明该方法相比现有估计器具有更优的预测准确性。

提出的方法

• 提出一种大型向量自回归模型，可区分某一变量自身的滞后项与其他变量的滞后项，从而实现独立正则化。
• 应用组套索惩罚项，同时选择相关变量及其滞后项，将每个变量-滞后对视为一个组。
• 采用'滚动方案'进行调参参数的数据驱动选择，以优化样本外预测性能。
• 采用两阶段估计策略：首先通过组套索进行变量与滞后项选择；其次在选定模型上进行估计。
• 在弱依赖和高维尺度下推导渐近性质，证明了一致性和Oracle效率。
• 通过KKT条件和鞅中心极限定理建立理论保证，证明了稀疏性和渐近正态性。

实验结果

研究问题

• RQ1 能否通过正则化方法在高维VAR模型中联合选择相关变量与滞后项，同时考虑时间依赖性？
• RQ2 尽管存在序列相关性和高维截面依赖，该方法是否仍能在预测中实现Oracle效率？
• RQ3 与固定或交叉验证方法相比，该数据驱动的调参参数选择滚动方案在预测性能上表现如何？
• RQ4 在高维尺度下，该估计量在变量选择一致性和渐近正态性方面的理论性质是什么？
• RQ5 该方法能否在真实宏观经济和金融预测应用中优于标准套索和现有VAR估计器？

主要发现

• 所提方法即使在标准套索因未考虑时间依赖性而失效时，仍能实现估计与预测的Oracle效率。
• 理论分析表明，该估计量具有一致性和渐近正态性，正确选择相关变量与滞后项的概率趋于1。
• 调参参数选择的滚动方案显著提升了样本外预测精度，优于固定或交叉验证方法。
• 实现了稀疏性：正确排除无关变量与滞后项的概率收敛于1，该结论通过KKT条件得到证明。
• 该方法在真实世界预测任务中成功识别出相关宏观经济与金融变量及其滞后项，优于现有VAR与基于套索的模型。
• 实证结果证实了该方法在宏观经济与金融数据集中的优越预测性能，尤其在高维与小样本条件下表现更优。