[论文解读] Sharp bounds on the rate of convergence of the empirical covariance matrix

Radosław Adamczak, Alexander E. Litvak+2 more|arXiv (Cornell University)|Dec 1, 2010

Point processes and geometric inequalities参考文献 7被引用 47

一句话总结

该论文为具有对数凹或次指数尾部的高维随机向量的样本协方差矩阵的收敛速率建立了精确的、非渐近的界。通过网论证和矩不等式，证明了以高概率，样本协方差矩阵的归一化极值奇异值集中在1附近，偏差阶为 $ C(\psi + K)^2 \sqrt{n/N} $，将Bai-Yin定理从i.i.d.条目推广到一类广泛的依赖和非同分布向量。

ABSTRACT

Let $X_1,..., X_N\\in\\R^n$ be independent centered random vectors with log-concave distribution and with the identity as covariance matrix. We show that with overwhelming probability at least $1 - 3 \\exp(-c\\sqrt{n}\ )$ one has $ \\sup_{x\\in S^{n-1}} \\Big|\\frac{1/N}\\sum_{i=1}^N (|<X_i, x>|^2 - \\E|<X_i, x>|^2\ )\\Big| \\leq C \\sqrt{\\frac{n/N}},$ where $C$ is an absolute positive constant. This result is valid in a more general framework when the linear forms $(<X_i,x>)_{i\\leq N, x\\in S^{n-1}}$ and the Euclidean norms $(|X_i|/\\sqrt n)_{i\\leq N}$ exhibit uniformly a sub-exponential decay. As a consequence, if $A$ denotes the random matrix with columns $(X_i)$, then with overwhelming probability, the extremal singular values $\\lambda_{\ m min}$ and $\\lambda_{\ m max}$ of $AA^\ op$ satisfy the inequalities $ 1 - C\\sqrt{{n/N}} \\le {\\lambda_{\ m min}/N} \\le \\frac{\\lambda_{\ m max}/N} \\le 1 + C\\sqrt{{n/N}} $ which is a quantitative version of Bai-Yin theorem \\cite{BY} known for random matrices with i.i.d. entries.

研究动机与目标

• 建立高维下样本协方差矩阵收敛速率的非渐近、精确界。
• 将此前仅适用于i.i.d.条目的Bai-Yin定理推广至可能具有依赖性或非同分布条目的随机矩阵。
• 消除早期针对对数凹向量结果中的对数因子，实现最优的 $ \sqrt{n/N} $ 收敛速率。
• 在一般矩条件和尾部条件下，分析样本协方差矩阵 $ AA^T $ 的极值奇异值的集中性。
• 为样本协方差矩阵与单位矩阵的偏差提供一个定量的、高概率的界，适用于 $ n \leq N $ 的情形。

提出的方法

• 在单位球面 $ S^{n-1} $ 上使用 $ 1/3 $-网论证，通过有限逼近控制连续集合上的上确界。
• 将经验过程分解为三部分：截断部分、中尾部部分和大偏差部分，分别进行有界控制。
• 应用Bernstein不等式控制截断部分 $ S_1(x) $，利用线性形式的统一 $ \psi_1 $-范数有界性。
• 利用先前工作中的定理2控制中尾部部分 $ S_2(x) $，依赖于稀疏索引集上投影的最大 $ \ell^2 $-范数。
• 通过Hölder不等式和 $ \psi_1 $-范数条件导出的指数尾部界估计大偏差部分 $ S_3(x) $。
• 通过并集界和链式论证结合各部分界，将控制从网扩展到整个球面，使用算子范数比较。

实验结果

研究问题

• RQ1 能否为非i.i.d.且具有依赖性的高维向量，建立样本协方差矩阵收敛速率的精确、非渐近界？
• RQ2 已知高斯矩阵中 $ \sqrt{n/N} $ 收敛速率是否可推广至i.i.d.条目之外的更广泛分布类？
• RQ3 能否消除早期针对对数凹向量结果中的对数因子，以实现最优速率？
• RQ4 何种矩条件和尾部条件足以确保 $ AA^T $ 的极值奇异值集中在 $ N $ 附近？
• RQ5 统一 $ \psi_1 $-范数和有界性条件的假设在高维设置下如何影响收敛速率？

主要发现

• 以至少 $ 1 - 2\exp(-c\sqrt{n}) $ 的概率，归一化样本协方差矩阵满足 $ \left| \frac{1}{N}\sum_{i=1}^N (|\langle X_i, x\rangle|^2 - \mathbb{E}|\langle X_i, x\rangle|^2) \right| \leq C(\psi + K)^2 \sqrt{n/N} $ 对所有 $ x \in S^{n-1} $ 成立。
• 矩阵 $ AA^T $ 的极小奇异值 $ \lambda_{\min} $ 和极大奇异值 $ \lambda_{\max}} $ 几乎必然满足 $ 1 - C(\psi + K)^2\sqrt{n/N} \leq \lambda_{\min}/N \leq \lambda_{\max}/N \leq 1 + C(\psi + K)^2\sqrt{n/N} $。
• 该结果在统一 $ \psi_1 $-范数条件和有界性条件（常数为 $ K $）下成立，该条件对对数凹等分布向量和 $ \ell_2^n $-球面上的均匀向量均成立。
• 该界消除了先前工作中存在的对数因子，实现了最优的 $ \sqrt{n/N} $ 速率，与高斯情形一致。
• 该方法即使在条目存在依赖性或向量非同分布时也适用，显著推广了经典Bai-Yin定理。
• 分析依赖于经验过程的分解和基于网的链式论证，尾部估计通过矩条件和指数尾部界控制。