[论文解读] Marchenko-Pastur law with relaxed independence conditions

Jennifer S. Bryson, Roman Vershynin+1 more|arXiv (Cornell University)|Dec 29, 2019

Random Matrices and Applications参考文献 43被引用 7

一句话总结

本文在弱化独立性假设下建立了样本协方差矩阵的马尔钦科-帕斯图尔定律，证明了在两种模型中收敛到经典的极限谱分布：块独立模型（块内元素存在依赖但块间相互独立）和随机张量模型（数据由独立变量的齐次乘积构成）。关键结果表明，只要块模型中最大块大小为 $ o(p) $，张量模型中 $ d = o(n^{1/3}) $，该定律依然成立，从而将经典 i.i.d. 情形推广至具有结构化依赖模式的情形。

ABSTRACT

We prove the Marchenko-Pastur law for the eigenvalues of $p imes p$ sample covariance matrices in two new situations where the data does not have independent coordinates. In the first scenario - the block-independent model - the $p$ coordinates of the data are partitioned into blocks in such a way that the entries in different blocks are independent, but the entries from the same block may be dependent. In the second scenario - the random tensor model - the data is the homogeneous random tensor of order $d$, i.e. the coordinates of the data are all $\binom{n}{d}$ different products of $d$ variables chosen from a set of $n$ independent random variables. We show that Marchenko-Pastur law holds for the block-independent model as long as the size of the largest block is $o(p)$ and for the random tensor model as long as $d = o(n^{1/3})$. Our main technical tools are new concentration inequalities for quadratic forms in random variables with block-independent coordinates, and for random tensors.

研究动机与目标

• 将经典的马尔钦科-帕斯图尔定律从 i.i.d. 元素推广至高维随机矩阵中具有结构化依赖的设定。
• 建立在坐标内部存在依赖的情况下，样本协方差矩阵的经验谱分布仍收敛于马尔钦科-帕斯图尔定律的条件。
• 分析块独立模型，其中坐标被划分为块，块内存在依赖但块间相互独立。
• 研究随机张量模型，其中数据条目是来自 $ n $ 个变量的 $ d $ 个独立变量的齐次乘积。
• 推导适用于块依赖和张量结构随机变量的二次型的新集中不等式，以支持主要收敛结果。

提出的方法

• 引入块独立模型，其中 $ p $-维向量被划分为大小为 $ d_k $ 的块，块间独立但块内可能存在依赖。
• 为块依赖随机变量中的二次型建立新的集中不等式，这对控制谱范数和特征值分布至关重要。
• 分析随机张量模型，其中数据矩阵的每一列是由 $ n $ 个独立变量构成的 $ d $ 阶齐次张量。
• 证明当 $ d = o(n^{1/3}) $ 时，马尔钦科-帕斯图尔定律成立，确保不同乘积的数量相对于 $ n $ 足够快地增长。
• 使用矩方法和斯蒂尔杰斯变换技术，经调整以处理依赖性，证明经验谱分布的弱收敛。
• 利用交换性和各向同性假设简化依赖结构，并通过对称化和去耦技术实现集中界。

实验结果

研究问题

• RQ1 当样本协方差矩阵中的条目并非 i.i.d.，而仅满足块独立时，马尔钦科-帕斯图尔定律在何种条件下仍成立？
• RQ2 马尔钦科-帕斯图尔定律能否推广至由 $ d $ 阶齐次随机张量构成的随机矩阵？对 $ d $ 和 $ n $ 的约束条件是什么？
• RQ3 收敛速度如何依赖于依赖结构，特别是依赖于底层变量的四阶矩？
• RQ4 在块依赖或张量结构数据下，控制谱范数和特征值分布所需的集中不等式有哪些？
• RQ5 在随机矩阵理论中，经典 i.i.d. 假设在多大程度上可以被放宽，同时仍保持极限谱分布？

主要发现

• 在块独立模型中，只要最大块大小为 $ o(p) $，马尔钦科-帕斯图尔定律即成立，允许块内存在显著依赖。
• 在随机张量模型中，当 $ d = o(n^{1/3}) $ 时，该定律成立，确保张量乘积的多样性足以维持渐近独立性。
• 即使在中等规模矩阵（如 $ p = 4000 $，$ n = 2000 $）下，块独立和随机张量矩阵的经验谱密度仍与马尔钦科-帕斯图尔密度高度吻合。
• 收敛速度依赖于底层随机变量的四阶矩：四阶矩较低（如伯努利分布）时收敛更快，而四阶矩较高（如正态分布）时收敛更慢。
• 实验结果表明，当 $ n o iginfty $ 时，经验谱分布收敛于马尔钦科-帕斯图尔定律，即使 $ n o 10 $ 时也表现出稳健性，表明当 $ d $ 较大时，低块数也具有鲁棒性。
• 理论结果得到新集中不等式的支持，这些不等式适用于块依赖和张量结构随机变量，是证明框架的核心。