[论文解读] Random matrices: The distribution of the smallest singular values

Terence Tao, Van Vu|ArXiv.org|Mar 3, 2009

Random Matrices and Applications参考文献 32被引用 5

一句话总结

本文建立了非厄米随机矩阵（i.i.d. 入口）最小奇异值极限分布的普遍性，表明无论底层入口分布为何，只要其均值为零、方差为单位值，$ n\sigma_n^2 $ 的分布收敛于与高斯情况相同的极限分布。证明采用了一种新颖的‘性质测试’方法，结合了概率论、分析学与随机矩阵理论的工具，实现了对实矩阵与复矩阵的集中性与普遍性分析，涵盖最小 $ k $ 个奇异值的联合分布及长方形矩阵的情况。

ABSTRACT

Let $\a$ be a real-valued random variable of mean zero and variance 1. Let $M_n(\a)$ denote the $n imes n$ random matrix whose entries are iid copies of $\a$ and $σ_n(M_n(\a))$ denote the least singular value of $M_n(\a)$. ($σ_n(M_n(\a))^2$ is also usually interpreted as the least eigenvalue of the Wishart matrix $M_n M_n^{\ast}$.) We show that (under a finite moment assumption) the probability distribution $n σ_n(M_n(\a))^2$ is {\it universal} in the sense that it does not depend on the distribution of $\a$. In particular, it converges to the same limiting distribution as in the special case when $a$ is real gaussian. (The limiting distribution was computed explicitly in this case by Edelman.) We also proved a similar result for complex-valued random variables of mean zero, with real and imaginary parts having variance 1/2 and covariance zero. Similar results are also obtained for the joint distribution of the bottom $k$ singular values of $M_n(\a)$ for any fixed $k$ (or even for $k$ growing as a small power of $n$) and for rectangular matrices. Our approach is motivated by the general idea of "property testing" from combinatorics and theoretical computer science. This seems to be a new approach in the study of spectra of random matrices and combines tools from various areas of mathematics.

研究动机与目标

• 建立 $ n \times n $ 随机矩阵（i.i.d. 入口）最小奇异值 $ \sigma_n(M_n) $ 的极限分布普遍性。
• 证明 $ n\sigma_n^2 $ 的分布对所有均值为零、方差为单位值的实值与复值分布均渐近普遍。
• 将普遍性结果推广至固定或缓慢增长的 $ k $ 个最小奇异值的联合分布，以及长方形矩阵。
• 提出一种基于‘性质测试’的新分析框架，用于分析非厄米随机矩阵的谱性质。
• 在非 i.i.d. 入口假设下，利用特征值泛函的凸性与利普希茨性质，证明谱泛函的集中不等式。

提出的方法

• 通过变换 $ W_N = \begin{pmatrix} 0 & M_n \\ M_n^* & 0 \end{pmatrix} $ 将 $ M_n $ 的奇异值与一个厄米矩阵 $ W_N $ 的特征值关联起来，其中 $ N = 2n $。
• 定义谱泛函 $ Z = \sum_{i=1}^N f(\lambda_i) $，其中 $ f $ 为凸且利普希茨的函数，近似于零附近区间的指示函数，用于统计低于阈值的奇异值数量。
• 利用凸性与利普希茨范数的测度集中性：引理 F.3 表明 $ Z $ 是凸的，引理 F.4 证明 $ Z $ 在矩阵入口上为 $ \sqrt{2} $-利普希茨。
• 应用定理 E.2 推导出高斯型集中不等式：$ \mathbf{P}(|Z - \mathbf{E}(Z)| \geq T) \leq 4\exp(-cT^2 / K^2) $，其中 $ K $ 为矩阵入口的上界。
• 构造两个函数 $ f_1, f_2 $，使其在区间 $ I $ 上对称、凸，且 $ \frac{C}{|I|} $-利普希茨，满足在 $ \frac{1}{2}I $ 上有 $ f_1 - f_2 \geq 1/2 $，以控制 $ I $ 内的特征值数量。
• 将集中界与期望控制相结合，证明在 $ [0, n^{-c}] $ 内奇异值的数量集中在其期望附近，从而推导出普遍性。

实验结果

研究问题

• RQ1 对于 i.i.d. 随机矩阵，$ n\sigma_n^2 $ 的分布是否依赖于入口分布的具体形式，只要其均值为零、方差为单位值？
• RQ2 能否证明最小奇异值的极限分布对实值与复值随机矩阵系综均具有普遍性？
• RQ3 对于固定或缓慢增长的 $ k $，最小 $ k $ 个奇异值的联合分布是否具有普遍性？该结果是否适用于长方形矩阵？
• RQ4 能否基于凸性与测度集中性，采用‘性质测试’方法证明谱硬边处的普遍性？
• RQ5 在非 i.i.d. 入口假设下，如何利用凸函数与利普希茨函数控制计数小奇异值的谱泛函？

主要发现

• 只要 i.i.d. 入口具有均值为零、方差为单位值，$ n\sigma_n(M_n)^2 $ 的分布收敛于与高斯情况相同的极限分布。
• 对于实 i.i.d. 入口，有 $ \mathbf{P}(n\sigma_n^2 \leq t) \to 1 - e^{-t/2 - \sqrt{t}} $，与爱德曼对实高斯情况推导的精确公式一致。
• 对于复 i.i.d. 入口，有 $ \mathbf{P}(n\sigma_n^2 \leq t) \to 1 - e^{-t} $，与复高斯情况完全一致。
• 普遍性结果可推广至任意固定的 $ k $ 个最小奇异值的联合分布，甚至适用于 $ k $ 随 $ n $ 的小幂次增长的情况。
• 该方法证明了在 $ [0, n^{-c}] $ 内奇异值数量集中在其期望附近，尾部概率以 $ \exp(-n^{\Omega(1)}) $ 的速率衰减，表明具有高概率控制。
• 基于谱泛函凸性与利普希茨性质的证明框架，即使在复入口的实部与虚部存在依赖关系时也适用，从而扩展了此前要求独立性的结果。