[论文解读] High Dimensional Forecasting via Interpretable Vector Autoregression

William B. Nicholson, Ines Wilms+2 more|arXiv (Cornell University)|Dec 17, 2014

Grey System Theory Applications参考文献 40被引用 38

一句话总结

本文提出了一种使用松弛最小二乘法的可解释高维向量自回归（VAR）方法，用于预测，通过三角形求解器避免显式矩阵求逆，并利用岭惩罚项提升数值稳定性。该方法在大VAR模型和短预测范围下表现出优越的样本外性能，其中逐元素和自身-其他HLag方法在宏观经济和金融数据集中始终优于其他方法。

ABSTRACT

Vector autoregression (VAR) is a fundamental tool for modeling multivariate time series. However, as the number of component series is increased, the VAR model becomes overparameterized. Several authors have addressed this issue by incorporating regularized approaches, such as the lasso in VAR estimation. Traditional approaches address overparameterization by selecting a low lag order, based on the assumption of short range dependence, assuming that a universal lag order applies to all components. Such an approach constrains the relationship between the components and impedes forecast performance. The lasso-based approaches work much better in high-dimensional situations but do not incorporate the notion of lag order selection. We propose a new class of hierarchical lag structures (HLag) that embed the notion of lag selection into a convex regularizer. The key modeling tool is a group lasso with nested groups which guarantees that the sparsity pattern of lag coefficients honors the VAR's ordered structure. The HLag framework offers three structures, which allow for varying levels of flexibility. A simulation study demonstrates improved performance in forecasting and lag order selection over previous approaches, and a macroeconomic application further highlights forecasting improvements as well as HLag's convenient, interpretable output.

研究动机与目标

• 开发一种在大型VAR模型中用于高维多变量时间序列预测的数值稳定且可解释的方法。
• 解决传统最小二乘法在高维设置下因条件数差的矩阵而产生的计算与数值挑战。
• 评估所提出方法在多样化宏观经济和金融数据集上相对于标准基准的预测性能。
• 评估滚动窗口预测中滞后选择与系数估计的稳健性与稳定性。
• 确定多变量方法是否在难以预测的序列（如汇率和股票价格）上相对于单变量模型提供实质性改进。

提出的方法

• 使用带设计矩阵QR分解的松弛最小二乘法，并引入岭惩罚项以避免显式矩阵求逆。
• 基于设计矩阵列范数推导出基于机器精度的岭惩罚项，以提升数值稳定性。
• 采用三角形求解器计算松弛估计量，无需矩阵求逆，从而提高计算效率。
• 实施算法3进行完整重拟合，对系统中每个变量迭代计算松弛估计量。
• 对168变量的Stock和Watson数据集应用变换，使其近似平稳，使用原始数据集的代码。
• 采用滚动窗口预测，并通过样本外wMSFE（加权均方预测误差）评估多种VAR规模和预测范围。

实验结果

研究问题

• RQ1 在高维VAR中，松弛最小二乘法是否能在不显式求逆的情况下实现比传统方法更优的预测精度？
• RQ2 所提出方法在不同宏观经济类别中相对于套索、FAVAR和随机游走模型的表现如何？
• RQ3 基于机器精度的岭惩罚项是否能提升病态VAR中的数值稳定性与预测性能？
• RQ4 对于哪些类型的宏观经济与金融序列，多变量方法相较于单变量模型具有显著优势？
• RQ5 在高维大型VAR中，滞后结构与非零系数的选择在时间上是否稳定？

主要发现

• 在168变量的Stock和Watson数据集中，逐元素HLag在13个宏观经济类别中的10个类别中始终优于其他方法，并被包含在75%模型置信集（MCS）中。
• 在大型VAR和短预测范围（h=1）下，逐元素和自身-其他HLag方法显著优于套索和AR模型，尤其在GDP、通货膨胀和利率序列中优势明显。
• 滞后加权套索和FAVAR在第二组类别（如工业生产、工资、价格）中表现强劲，被包含在13个类别的MCS中6个。
• 对于难以预测的序列（如汇率、股票价格和消费者预期），多变量方法相较于单变量AR或样本均值模型并无实质性改进。
• 稳定性分析（图21）显示，在中大型VAR中，关键变量如GDP增长率、通货膨胀（CPIAUSL）和联邦基金利率的非零系数被一致选择，且随时间保持稳定的选取模式。
• 如图19和图20所示，该方法在不同最大滞后阶数（pmax=13）和预测范围（h=4和h=8）下均保持强劲性能，大型VAR模型中始终被包含在MCS中。