[论文解读] High Dimensional and Banded Vector Autoregressions

Shaojun Guo, Yazhen Wang+1 more|arXiv (Cornell University)|Feb 27, 2015

Statistical Methods and Inference参考文献 27被引用 8

一句话总结

该论文提出了一类带状向量自回归（VAR）模型，用于建模具有稀疏依赖结构的高维时间序列，其中系数矩阵被带状化以将参数量从 O(p²) 降低至 O(p)。在 Frobenius 范数下建立了 (p/n)^{1/2} 的收敛速率，在谱范数下为 (log p/n)^{1/2}，并提出了一种一致的贝叶斯信息准则（BIC）用于带宽选择，同时证明了带截断的样本自协方差矩阵在 log(n/log p)(log p/n)^{1/2} 的速率下是一致估计量。

ABSTRACT

We consider a class of vector autoregressive models with banded coefficient matrices. The setting represents a type of sparse structure for high-dimensional time series, though the implied autocovariance matrices are not banded. The structure is also practically meaningful when the order of component time series is arranged appropriately. The convergence rates for the estimated banded autoregressive coefficient matrices are established. We also propose a Bayesian information criterion for determining the width of the bands in the coefficient matrices, which is proved to be consistent. By exploring some approximate banded structure for the auto-covariance functions of banded vector autoregressive processes, consistent estimators for the auto-covariance matrices are constructed.

研究动机与目标

• 为解决高维向量自回归模型中的过度参数化与识别问题。
• 通过带状系数矩阵建模仅相邻时间序列分量相互影响的动态依赖结构。
• 在高维设定下，为自回归系数矩阵与自协方差函数开发一致的估计程序。
• 提出一种边际贝叶斯信息准则（BIC），用于在样本量 n 与维度 p 同时增长时，实现带宽的一致确定。

提出的方法

• 假设带状系数矩阵的向量自回归模型，其中非零系数集中在对角线附近的狭窄带状区域内，将参数数量从 O(p²) 降低至 O(p)。
• 在 Frobenius 范数与谱范数下使用最小二乘法估计自回归系数矩阵，分别建立了 (p/n)^{1/2} 与 (log p/n)^{1/2} 的收敛速率。
• 提出一种边际贝叶斯信息准则（BIC），在正则性条件下，当 n, p → ∞ 时，可一致地选择出真实带宽 k₀。
• 引入带截断的样本自协方差矩阵，作为真实自协方差函数的一致估计量，利用渐近带状近似。
• 采用技术工具，包括浓度不等式与特征值界（通过引理1、5、6），以控制高维设定下的估计误差。
• 通过模拟研究验证方法，采用多种排序方式（真实排序、局部置换、随机排序），比较 BIC 值与事后样本预测误差。

实验结果

研究问题

• RQ1 带状系数矩阵是否能有效减少高维VAR模型中的参数数量，同时保持动态依赖结构？
• RQ2 当 p 与 n 增大时，带状VAR系数矩阵的最小二乘估计器在 Frobenius 范数与谱范数下的收敛速率是什么？
• RQ3 所提出的边际贝叶斯信息准则（BIC）在高维带状VAR模型中是否对带宽选择具有一致性？
• RQ4 带截断的样本自协方差矩阵能否为带状VAR过程中真实自协方差函数提供一致估计？
• RQ5 时间序列分量的排序方式如何影响带状VAR模型中的估计精度与预测性能？

主要发现

• 当 n 与 p 发散时，带状VAR系数矩阵的最小二乘估计器在 Frobenius 范数下的收敛速率为 (p/n)^{1/2}，在谱范数下为 (log p/n)^{1/2}。
• 所提出的边际贝叶斯信息准则（BIC）在 n 与 p 同时趋于无穷大时，可一致地选择出真实带宽 k₀。
• 带截断的样本自协方差矩阵是真实自协方差函数的一致估计量，收敛速率为 log(n/log p)(log p/n)^{1/2}，快于标准带状协方差估计器。
• 在模拟中，真实排序模型的 BIC 最低且事后样本预测误差最小，其次为局部置换与基于Lasso的模型。
• 采用任意随机置换的模型表现最差，表明排序方式对性能至关重要，且真实排序在 BIC 与预测精度上始终优于其他排序方式。
• 当 n=200 且 p=100 时，真实排序的一步预测误差为 0.787(0.06)，而随机置换的预测误差为 0.828(0.07)，显示出显著的性能差距。