[论文解读] Bootstrap Based Inference for Sparse High-Dimensional Time Series Models

Jonas Krampe, J.‐P. KREISS+1 more|arXiv (Cornell University)|Jun 28, 2018

Statistical Methods and Inference参考文献 46被引用 13

一句话总结

本文提出了一种基于模型的自助法（bootstrap procedure），用于在稀疏高维向量自回归（VAR）模型中进行推断，采用去偏估计量来克服正则化lasso估计量的非标准渐近分布。该方法在弱依赖性和稀疏性假设下，对估计和检验均具有渐近有效性，尤其适用于检验一组系数是否同时为零。

ABSTRACT

Fitting sparse models to high-dimensional time series is an important area of statistical inference. In this paper we consider sparse vector autoregressive models and develop appropriate bootstrap methods to infer properties of such processes. Our bootstrap methodology generates pseudo time series using a model-based bootstrap procedure which involves an estimated, sparsified version of the underlying vector autoregressive model. Inference is performed using so-called de-sparsified or de-biased estimators of the autoregressive model parameters. We derive the asymptotic distribution of such estimators in the time series context and establish asymptotic validity of the bootstrap procedure proposed for estimation and, appropriately modified, for testing purposes. In particular we focus on testing that large groups of autoregressive coefficients equal zero. Our theoretical results are complemented by simulations which investigate the finite sample performance of the bootstrap methodology proposed. A real-life data application is also presented.

研究动机与目标

• 解决高维稀疏时间序列模型中参数个数超过样本量时缺乏可靠推断方法的问题。
• 克服lasso型估计量的非标准渐近分布，该问题阻碍了传统推断和自助法的应用。
• 开发一种对去偏VAR参数估计量的推断具有渐近有效性的自助程序。
• 实现对大量自回归系数同时为零的检验，该检验与格兰杰因果关系和变量选择相关。
• 在弱依赖性和随维度增加的稀疏性约束下，建立自助法的理论有效性。

提出的方法

• 使用基于模型的自助法，从一个稀疏化后的估计VAR模型中生成伪时间序列。
• 应用去偏或去稀疏化估计量，以校正lasso型正则化VAR估计量中固有的偏差。
• 在高维稀疏VAR假设下，推导去偏估计量的渐近分布。
• 基于去偏估计量及其估计标准误构造自助统计量。
• 通过高斯近似技术，确保自助法能复制去偏检验统计量的渐近分布。
• 利用泛函中心极限定理和高斯近似结果（例如，Zhang和Wu，2017）来证明在弱依赖性和稀疏性条件下的自助法有效性。

实验结果

研究问题

• RQ1 能否开发一种在高维稀疏VAR模型中对推断具有渐近有效性的自助程序？
• RQ2 如何利用去偏估计量构造高维时间序列中的有效置信区间和p值？
• RQ3 该自助程序是否对检验大量自回归系数联合显著性的假设具有渐近有效性？
• RQ4 在何种依赖性、稀疏性和维度条件下，该自助法在此设定下是有效的？
• RQ5 与高维设定下使用非标准估计量的标准基于模型的自助法相比，所提出的自助法有何优势？

主要发现

• 在弱依赖性和稀疏性假设下，所提出的自助程序对去偏VAR参数估计量的推断具有渐近有效性。
• 推导出去偏估计量的渐近分布，并在高维渐近条件下证明其近似正态分布。
• 自助法能复制去偏检验统计量的渐近分布，且在参数空间上一致地以概率收敛。
• 该方法可实现对自回归系数组同时为零的零假设的有效检验，即使参数个数超过样本量。
• 模拟结果证实，该自助法在小样本下的表现可靠，置信区间和假设检验的覆盖概率和大小均适当。
• 理论依据依赖于高维线性形式的高斯近似和弱依赖性假设，收敛速度取决于稀疏性和维度。