[论文解读] Lasso Guarantees for Time Series Estimation Under Subgaussian Tails and $ \beta $-Mixing

Kam Chung Wong, Zifan Li+1 more|arXiv (Cornell University)|Feb 12, 2016

Statistical Methods and Inference参考文献 44被引用 8

一句话总结

本文在最小假设条件下——严格平稳性、次高斯尾部和β-混合依赖性——为高维时间序列中的套索（lasso）建立了非渐近误差界。证明了即使真实数据生成过程（DGP）不是有限阶向量自回归（VAR）模型，lasso仍能一致估计最佳线性预测器，通过为β-混合次高斯向量提出一种新型Hanson-Wright不等式，将lasso的理论保证扩展至非高斯、非马尔可夫和非线性时间序列模型。

ABSTRACT

Many theoretical results on estimation of high dimensional time series require specifying an underlying data generating model (DGM). Instead, along the footsteps of~\cite{wong2017lasso}, this paper relies only on (strict) stationarity and $ \beta $-mixing condition to establish consistency of lasso when data comes from a $\beta$-mixing process with marginals having subgaussian tails. Because of the general assumptions, the data can come from DGMs different than standard time series models such as VAR or ARCH. When the true DGM is not VAR, the lasso estimates correspond to those of the best linear predictors using the past observations. We establish non-asymptotic inequalities for estimation and prediction errors of the lasso estimates. Together with~\cite{wong2017lasso}, we provide lasso guarantees that cover full spectrum of the parameters in specifications of $ \beta $-mixing subgaussian time series. Applications of these results potentially extend to non-Gaussian, non-Markovian and non-linear times series models as the examples we provide demonstrate. In order to prove our results, we derive a novel Hanson-Wright type concentration inequality for $\beta$-mixing subgaussian random vectors that may be of independent interest.

研究动机与目标

• 在不假设特定数据生成模型（DGM）的前提下，为高维时间序列中的lasso建立非渐近误差界。
• 将lasso理论从i.i.d.和马尔可夫性假设扩展至具有次高斯边际分布的一般平稳β-混合过程。
• 为真实DGM不是有限阶VAR的情况提供理论保证，确保对最佳线性预测器的一致性。
• 推导适用于β-混合次高斯随机向量的新型Hanson-Wright型集中不等式，该结果本身具有独立兴趣。
• 在非高斯、非马尔可夫和非线性时间序列模型（如模型误设的VAR和ARCH过程）上验证理论。

提出的方法

• 依赖于严格平稳性和具有几何衰减的β-混合条件来建模时间依赖性。
• 假设边际分布具有次高斯尾部以控制尾部行为，并支持集中不等式。
• 为β-混合次高斯随机向量推导出一种新型Hanson-Wright型集中不等式，以控制二次型的偏离。
• 在β-混合性和次高斯性条件下，建立限制特征值和偏离条件的高概率界。
• 利用主定理推导lasso估计器的估计误差和预测误差的非渐近界。
• 将该框架应用于三个例子：标准VAR、误设VAR和ARCH模型，验证假设并推导误差界。

实验结果

研究问题

• RQ1 在不假设特定DGM（如VAR或ARCH）的前提下，lasso能否在高维时间序列中实现一致估计与预测？
• RQ2 在次高斯尾部和β-混合依赖条件下，lasso的非渐近误差界是什么？
• RQ3 当真实DGM不是有限阶VAR时，lasso的表现如何？此时它估计的是什么？
• RQ4 能否推导出适用于β-混合次高斯向量的新型集中不等式，并用于建立lasso的理论保证？
• RQ5 理论界是否适用于非高斯、非马尔可夫和非线性时间序列模型？

主要发现

• 在β-混合性和次高斯性条件下，lasso估计器的非渐近估计误差界为O(s log p / n)量级，其中s为稀疏性，p为维度。
• 在相同条件下建立了预测误差界，表明即使真实DGM不是有限阶VAR，结果仍具有一致性。
• 本文推导出适用于β-混合次高斯向量的新型Hanson-Wright不等式，这是证明主要结果的关键。
• 对于VAR模型，在给定假设下，lasso以高概率估计出真实的转移矩阵。
• 在误设VAR情况下，lasso估计的是基于过去观测的最佳线性预测器，且误差界依然成立。
• 对于具有均匀创新项的ARCH模型，假设得到验证，且在几何β-混合性和次高斯性条件下，lasso误差界依然有效。