[论文解读] A Finite-Sample Deviation Bound for Stable Autoregressive Processes

Rodrigo A. González, Cristian R. Rojas|arXiv (Cornell University)|Dec 17, 2019

Statistical Methods and Inference参考文献 19被引用 4

一句话总结

本论文为稳定自回归过程（AR(n)）推导出一个有限样本偏差界，利用矩阵范数和浓度不等式，量化了样本协方差矩阵与总体协方差矩阵之间的偏差。主要贡献在于：在样本大小 $ N $、系统维数 $ n $ 和噪声方差 $ \sigma^2 $ 下，得到了一个高概率估计误差界，且该界对模型稳定性与设计矩阵结构具有显式依赖关系。

ABSTRACT

In this paper, we study non-asymptotic deviation bounds of the least squares estimator in Gaussian AR($n$) processes. By relying on martingale concentration inequalities and a tail-bound for $χ^2$ distributed variables, we provide a concentration bound for the sample covariance matrix of the process output. With this, we present a problem-dependent finite-time bound on the deviation probability of any fixed linear combination of the estimated parameters of the AR$(n)$ process. We discuss extensions and limitations of our approach.

研究动机与目标

• 为稳定自回归过程中样本协方差矩阵与总体协方差矩阵之间的偏差建立一个非渐近的概率界。
• 在一般噪声与稳定性条件下，量化 AR(n) 模型在有限样本下的估计误差。
• 推导出经验协方差与真实协方差之间偏差的高概率上界，同时考虑模型参数与样本大小。
• 分析模型稳定性、噪声方差与样本大小对自回归估计器有限样本性能的影响。
• 提供一个严格的非渐近偏差界，考虑设计矩阵结构与自回归系数矩阵的谱性质。

提出的方法

• 定义长期协方差矩阵 $ \overline{V} = \sigma^2 \sum_{i=0}^\infty A^i B B^\top (A^\top)^i $，表示该过程的渐近协方差。
• 通过将 $ \overline{V} $ 的扰动项按 $ \epsilon \sigma^2 \sum_{i=0}^\infty A^i (A^\top)^i $ 缩放，构造依赖于数据的下界 $ V_{\text{dn}} $ 与上界 $ V_{\text{up}} $，以捕捉偏差的下限与上限包络。
• 引入偏差概率界 $ \delta(\epsilon, N) $，其由子高斯与子指数过程的浓度不等式导出的四个指数项组合而成。
• 利用矩阵投影 $ \begin{bmatrix} I_n & 0 \end{bmatrix} $ 从完整状态空间协方差中提取相关协方差子矩阵。
• 通过矩阵范数与谱半径分析控制偏差项的增长，确保在模型假设下的稳定性。
• 结合子高斯与子指数浓度的尾部界，推导出大偏差概率的复合界。

实验结果

研究问题

• RQ1 在有限样本下，AR(n) 过程中样本协方差矩阵的估计误差行为如何？
• RQ2 在模型稳定与子高斯噪声条件下，经验协方差收敛到真实协方差的速率如何？
• RQ3 模型参数（包括系数矩阵 $ A $、噪声方差 $ \sigma^2 $ 与样本大小 $ N $）如何影响偏差概率？
• RQ4 能否推导出一个既非渐近又对系统谱性质敏感的偏差高概率界？
• RQ5 扰动参数 $ \epsilon $ 在控制偏差界置信水平方面起什么作用？

主要发现

• 偏差概率 $ \delta(\epsilon, N) $ 随 $ N - n $ 指数衰减，表明在大样本下样本协方差强烈集中在真实值附近。
• 界 $ \delta(\epsilon, N) $ 包含四项：一项来自子高斯浓度，一项来自子指数尾部行为，一项来自系数向量 $ \theta $ 的 $ \ell^2 $-范数，一项来自 $ \sqrt{N} $ 缩放的指数衰减。
• 上界 $ V_{\text{up}} $ 与下界 $ V_{\text{dn}} $ 被构造为捕捉经验协方差相对于真实协方差可能偏差的范围，且按 $ (N - n) $ 缩放。
• 该界在 AR 过程稳定的假设下成立，确保 $ \overline{V} $ 中无穷级数的收敛性。
• 偏差界是非渐近的，且显式依赖于 $ \mathbb{E}\{y_1^2\} $、$ \|\theta\|_2 $ 与噪声方差 $ \sigma^2 $，反映了模型与数据特征。
• 结果为 AR(n) 过程的协方差矩阵提供了有限样本置信区域，且显式依赖于模型稳定性与样本大小。