[论文解读] Eigenvalue distribution of large sample covariance matrices of linear processes

Oliver Pfaffel, Eckhard Schlemm|arXiv (Cornell University)|Jan 18, 2012

Random Matrices and Applications参考文献 12被引用 15

一句话总结

本文通过线性过程（如 ARMA 或分数阶积分过程）推导了在时间依赖数据下大样本协方差矩阵的极限谱分布（LSD）。利用随机矩阵理论，证明 LSD 仅依赖于过程的谱密度和比值 $ y = \lim n/p $，将经典的 Marchenko-Pastur 定律推广至依赖数据情形。

ABSTRACT

We derive the distribution of the eigenvalues of a large sample covariance matrix when the data is dependent in time. More precisely, the dependence for each variable $i=1,...,p$ is modelled as a linear process $(X_{i,t})_{t=1,...,n}=(\sum_{j=0}^\infty c_j Z_{i,t-j})_{t=1,...,n}$, where $\{Z_{i,t}\}$ are assumed to be independent random variables with finite fourth moments. If the sample size $n$ and the number of variables $p=p_n$ both converge to infinity such that $y=\lim_{n o\infty}{n/p_n}>0$, then the empirical spectral distribution of $p^{-1}\X\X^T$ converges to a non\hyp{}random distribution which only depends on $y$ and the spectral density of $(X_{1,t})_{t\in\Z}$. In particular, our results apply to (fractionally integrated) ARMA processes, which we illustrate by some examples.

研究动机与目标

• 将经典的 Marchenko-Pastur 定律推广至高维样本协方差矩阵在数据存在时间依赖性的情形下。
• 刻画当 $ \mathbf{X} $ 的每一行服从弱依赖创新项的线性过程时，$ p^{-1} \mathbf{X} \mathbf{X}^T $ 的极限谱分布（LSD）。
• 证明 LSD 仅依赖于底层线性过程的谱密度和比值 $ y = \lim n/p $。
• 在 ARMA(1,1) 和分数阶积分过程等情形下，提供 LSD 的 Stieltjes 变换的显式公式。

提出的方法

• 将每个变量建模为线性过程 $ X_{i,t} = \sum_{j=0}^\infty c_j Z_{i,t-j} $，其中 $ \{Z_{i,t}\} $ 为独立同分布的随机变量，具有有限四阶矩并满足 Lindeberg 条件。
• 将线性过程的谱密度 $ f(\omega) $ 作为确定样本协方差矩阵 LSD 的关键输入。
• 通过涉及 $ f(\omega) $ 的非线性方程推导 LSD 的 Stieltjes 变换 $ m_z $，具体为 $ \frac{1}{m_z} = -z + y \int_{\lambda_-}^{\lambda_+} \frac{\lambda g(\lambda)}{1 + \lambda m_z} d\lambda $，其中 $ g(\lambda) $ 是由 $ f(\omega) $ 导出的特征值密度。
• 应用 Stieltjes–Perron 反演公式，从其 Stieltjes 变换中恢复 LSD。
• 将一般结果特化至 ARMA(1,1) 和分数阶积分 ARMA 过程，通过推导 $ f(\omega) $ 及其对应的 LSD 的显式表达式。
• 通过模拟验证结果，将经验特征值直方图与 ARMA(1,1) 过程的理论 LSD 进行比较。

实验结果

研究问题

• RQ1 高维数据中的时间依赖性如何影响样本协方差矩阵的特征值分布？
• RQ2 Marchenko-Pastur 定律能否推广至 ARMA 等线性过程这类依赖数据结构？
• RQ3 当数据服从具有弱依赖创新项的线性过程时，$ p^{-1} \mathbf{X} \mathbf{X}^T $ 的极限谱分布是什么？
• RQ4 底层时间序列的谱密度如何影响样本协方差矩阵的 LSD？

主要发现

• 在 $ p^{-1} \mathbf{X} \mathbf{X}^T $ 的经验谱分布几乎必然收敛至一个仅依赖于 $ y = \lim n/p $ 和线性过程谱密度 $ f(\omega) $ 的非随机极限。
• 对于 ARMA(1,1) 过程，LSD 被显式推导，其 Stieltjes 变换满足一个包含参数 $ \vartheta $ 和 $ \varphi $ 的四次方程，且对应的密度在 $ (\lambda_-, \lambda_+) $ 上有界且连续。
• 当 $ \varphi = 0 $ 时，结果退化为 MA(1) 过程；当 $ \vartheta = 0 $ 时，退化为 AR(1) 过程，两者均给出可处理的 LSD。
• 对于 $ d < 0 $ 的分数阶积分 ARMA 过程，LSD 仍由同一框架刻画，使用谱密度 $ f(\omega) = \left| \frac{b(e^{i\omega})}{a(e^{i\omega})} \right|^2 |1 - e^{-i\omega}|^{-2d} $。
• 数值比较显示，ARMA(1,1) 过程在不同 $ y = n/p $ 取值下，经验特征值直方图与理论 LSD 高度一致。
• 所推导的 LSD 将经典 Marchenko-Pastur 定律推广至依赖数据，有效校正了高维设定下时间依赖性引入的偏差。