[论文解读] Estimating Structured Vector Autoregressive Model

Igor Melnyk, Arindam Banerjee|arXiv (Cornell University)|Feb 21, 2016

Statistical Methods and Inference参考文献 36被引用 24

一句话总结

本文提出了一种用于具有依赖时间序列数据的结构化向量自回归（VAR）模型的非渐近估计框架，利用通用链式法和次指数鞅不等式，在任意范数（如Lasso、组Lasso）下建立误差界。令人惊讶的是，即使存在时间依赖性和变量间依赖性，估计误差率仍与独立样本Lasso估计器相当。

ABSTRACT

While considerable advances have been made in estimating high-dimensional structured models from independent data using Lasso-type models, limited progress has been made for settings when the samples are dependent. We consider estimating structured VAR (vector auto-regressive models), where the structure can be captured by any suitable norm, e.g., Lasso, group Lasso, order weighted Lasso, sparse group Lasso, etc. In VAR setting with correlated noise, although there is strong dependence over time and covariates, we establish bounds on the non-asymptotic estimation error of structured VAR parameters. Surprisingly, the estimation error is of the same order as that of the corresponding Lasso-type estimator with independent samples, and the analysis holds for any norm. Our analysis relies on results in generic chaining, sub-exponential martingales, and spectral representation of VAR models. Experimental results on synthetic data with a variety of structures as well as real aviation data are presented, validating theoretical results.

研究动机与目标

• 填补高维结构化VAR模型在依赖时间序列数据下理论保证的空白，其中标准i.i.d.假设不成立。
• 将Lasso型正则化扩展至具有任意范数（如L1、组Lasso、OWL）的VAR模型，以捕捉多元时间序列中多样的结构先验。
• 在存在强时间依赖性和跨变量依赖性的情况下，建立结构化VAR参数的非渐近估计误差界。
• 在对噪声和模型稳定性的假设最小化条件下，为高维设置中依赖观测下的正则化VAR估计提供理论依据。

提出的方法

• 将结构化VAR估计表述为在参数矩阵 A_k 上使用任意范数 R(·) 的正则化优化问题，从而实现稀疏、组稀疏或复杂结构解。
• 应用通用链式法和次指数鞅集中不等式，分析在时间依赖性下的经验过程的上确界。
• 利用VAR过程的谱表示来刻画协方差结构，并推导受限特征值条件的界。
• 通过协方差矩阵 C_X 的迹和谱范数界，建立对 Δ 属于方向锥时 XΔ 的期望范数的下界。
• 利用 [31] 和 [4] 的结果，推导 ||Xu||_2 在集合 Θ 上的下确界的高概率集中不等式，以控制与期望的偏离。
• 证明在样本量 N ≥ O(w(Θ)^2 / L) 条件下，受限特征值条件以高概率成立，其中 w(Θ) 为方向集合的高斯宽度，L 为特征值的下界。

实验结果

研究问题

• RQ1 当样本在时间上依赖时，能否为结构化VAR模型建立非渐近估计误差界？
• RQ2 对于具有任意范数的结构化VAR模型，其估计误差率是否与独立样本Lasso估计器相当？
• RQ3 在时间依赖下，样本量和模型参数的何种条件可确保结构化VAR参数的一致恢复？
• RQ4 通用链式法和鞅集中不等式如何被调整以处理多元时间序列中的依赖结构？
• RQ5 在高维VAR模型中，范数选择（如L1、组Lasso、OWL）在依赖数据下对估计误差的影响有多大？

主要发现

• 尽管存在强时间依赖性和跨变量依赖性，结构化VAR模型的非渐近估计误差与对应i.i.d.采样下Lasso型估计器的误差处于同一数量级。
• 在样本量 N ≥ O(w(Θ)^2 / L) 条件下，受限特征值条件以高概率成立，其中 w(Θ) 为方向集合的高斯宽度，L 为协方差矩阵最小特征值的下界。
• 该分析适用于任意范数 R(·)，包括 L1、组Lasso、有序加权L1以及重叠组稀疏，从而支持对多样化结构先验的灵活建模。
• 误差界依赖于VAR过程的谱性质和参数空间的几何结构，显式依赖于 Λ_min(Σ)、Λ_max(Σ) 以及自回归算子的谱范数。
• 理论保证在具有多种结构的合成数据和真实航空数据上得到验证，显示出与预测高度一致的实证表现。
• 所推导的界为非渐近且在最小假设下成立：严平稳性、二阶矩有限性，以及噪声协方差矩阵 Σ 的特征值有界。