[论文解读] A short note on the tail bound of Wishart distribution

Shenghuo Zhu|arXiv (Cornell University)|Dec 24, 2012

Probability and Risk Models参考文献 5被引用 13

一句话总结

本文通过改进独立同分布多元正态向量样本协方差矩阵现有浓度不等式中的常数，为Wishart分布提供了更紧致的尾部界限。利用矩阵Bernstein不等式和矩生成函数分析，推导出关于特征值和谱范数偏差的改进高概率界限，明确依赖于真实协方差矩阵的条件数和迹与谱范数之比。

ABSTRACT

We study the tail bound of the emperical covariance of multivariate normal distribution. Following the work of (Gittens & Tropp, 2011), we provide a tail bound with a small constant.

研究动机与目标

• 改进Wishart分布现有尾部界限中的常数，特别是多元正态数据经验协方差矩阵的尾部界限。
• 为样本协方差矩阵的特征值和谱范数提供更精确的高概率浓度不等式。
• 细化对真实协方差矩阵的条件数和迹与谱范数之比等结构参数的依赖关系。
• 在Gittens（2011）先前结果的基础上进行扩展和改进，降低偏差界限中的常数，同时保持紧致性。

提出的方法

• 通过为独立零均值随机矩阵应用改进的矩生成函数条件，推导出基于矩阵Bernstein不等式的尾部界限。
• 应用Birgé（1998）的引理2，将矩生成函数界限转换为具有显式常数的尾部概率界限。
• 利用Isserlis定理计算高斯向量二次型的高阶矩，并通过迹和谱范数项进行有界化。
• 证明中心化Wishart分量的p阶矩被 $ \frac{p!}{2} B^{p-2} \Sigma_2 $ 所有界，其中 $ B $ 和 $ \Sigma_2 $ 依赖于真实协方差矩阵的迹和谱范数。
• 应用Weyl定理，将样本协方差的特征值偏差与偏差矩阵的谱范数联系起来。
• 通过结合矩阵浓度、特征值交错性与条件数缩放，推导出集体与个体特征值的浓度界限。

实验结果

研究问题

• RQ1 Wishart分布的尾部界限中的常数能否被进一步减小，以提高高维协方差估计的实际紧致性？
• RQ2 条件数 $ \kappa_\ell $ 和迹与谱范数之比 $ r $ 如何影响样本协方差矩阵个体特征值的集中性？
• RQ3 在Wishart分布矩阵浓度中，偏差尺度与尾部概率之间的最优权衡是什么？
• RQ4 通过改进矩生成函数分析，能否为最大特征值和谱范数推导出更紧致的界限？
• RQ5 新界限与文献中已有结果相比如何，特别是在标量情形或 $ d=1 $ 时？

主要发现

• 本文建立了集体特征值界限：$ \Pr\left\{ \left| \lambda_\ell(\frac{1}{n}S) - \lambda_\ell(C) \right| \geq \left( \sqrt{\frac{2\theta \kappa_\ell^2 (r+1)}{n}} + \frac{2\theta \kappa_\ell r}{n} \right) \lambda_\ell(C) \right\} \leq 2d \exp(-\theta) $，其中 $ r = \mathrm{tr}(C)/\|C\| $ 且 $ \kappa_\ell = \lambda_1(C)/\lambda_\ell(C) $。
• 对于谱范数，证明了 $ \Pr\left\{ \left\| \frac{1}{n}S - C \right\| \geq \left( \sqrt{\frac{2\theta(r+1)}{n}} + \frac{2\theta r}{n} \right) \|C\| \right\} \leq 2d \exp(-\theta) $，改进了先前的常数。
• 最大特征值偏差的界限为 $ \Pr\left\{ \lambda_1(\frac{1}{n}S - C) \geq \left( \sqrt{\frac{2\theta(r+1)}{n}} + \frac{2\theta r}{n} \right) \lambda_1(C) \right\} \leq d \exp(-\theta) $，常数改进相同。
• 对于个体特征值，推导出 $ \Pr\left\{ \lambda_\ell(\frac{1}{n}S) \geq \left(1 + \sqrt{\frac{2\theta(\kappa_\ell r_\ell + 2)}{n}} + \frac{2\theta \kappa_\ell r_\ell}{n} \right) \lambda_\ell(C) \right\} \leq (d - \ell + 1) \exp(-\theta) $，其中 $ r_\ell = \sum_{i=\ell}^d \lambda_i(C)/\lambda_1(C) $，表明实现了更紧致的逐特征值控制。
• 在标量情形（$ d=1, C=1 $）下，界限被证明是紧致的，恢复了Laurent（2000）已知的卡方尾部界限。
• 分析表明，对于 $ p \geq 2 $，矩展开中单链项的数量少于所有项的三分之一，从而支持了迹基界限在矩估计中的主导地位。