[论文解读] Error Bound for Compound Wishart Matrices

Ilya Soloveychik|arXiv (Cornell University)|Feb 23, 2014

Random Matrices and Applications参考文献 21被引用 3

一句话总结

本文为形式为 $ W = \frac{1}{n}XBX^T $ 的复合Wishart矩阵建立了非渐近误差界，其中 $ X $ 具有独立同分布的标准高斯分布条目，$ B $ 为任意 $ n \times n $ 矩阵。通过使用浓度不等式和高斯测度技术，推导出偏差 $ \|W - W^0\| $ 的期望谱范数的界，表明在准确估计均值矩阵时，样本复杂度为 $ \mathcal{O}(\sqrt{p} \ln^2 p) $。

ABSTRACT

In this paper we consider non-asymptotic behavior of the real compound Wishart matrices that generalize the classical real Wishart distribution. In particular, we consider matrices of the form 1/nXBX', where X consists of real centered Gaussian elements and B is an arbitrary real matrix and sequences of such matrices for varying n. We show how the expectation of deviations from the mean can be bounded for compound Wishart matrices.

研究动机与目标

• 分析复合Wishart矩阵 $ W = \frac{1}{n}XBX^T $ 的非渐近行为，其中 $ X $ 具有独立同分布的标准高斯条目，$ B $ 为任意矩阵。
• 推导有限样本下偏差 $ \|W - \mathbb{E}[W]\| $ 的期望谱范数的界，以解决估计均值Wishart矩阵的精度问题。
• 研究在 $ p $ 和 $ n $ 同阶时，准确估计复合Wishart矩阵期望所需的样本复杂度。
• 将结果扩展至序列形式的Wishart矩阵 $ W_n = \frac{1}{n}X B_n X^T $，其中 $ \mathrm{Tr}(B_n) = n $，以确保谱性质受控。

提出的方法

• 使用表示式 $ W = \frac{1}{n} \Theta^{1/2} Y B X^T \Theta^{1/2} $，其中 $ Y $ 具有独立同分布的标准正态条目，以将尺度矩阵 $ \Theta $ 与 $ B $ 的结构解耦。
• 通过Stein方法和Lieb定理，应用矩阵值随机变量的Bernstein型浓度不等式。
• 对 $ \text{Reg}_p(r) $ 中的稀疏向量（即具有 $ \pm 1 $ 条目的 $ r $-稀疏向量）使用并集界，以控制最大二次型 $ (W'x, y) $。
• 通过控制稀疏支撑上二次型的偏离，并利用高斯尾部估计，推导出谱范数 $ \|W'\| $ 的尾部界。
• 利用 $ \mathbb{E}[\|W - W^0\|] \leq \frac{C \lceil \ln(2p) \rceil^2 \sqrt{p}}{n} $ 的事实，其中 $ C $ 依赖于 $ \|B\|_{\text{Frob}} $ 和 $ \|B\| $，以推导最终界。
• 通过积分尾部界，将尾部概率不等式转换为谱范数的期望界。

实验结果

研究问题

• RQ1 复合Wishart矩阵相对于其均值的非渐近偏离在谱范数下如何？
• RQ2 需要多少样本 $ n $ 才能以高概率和受控误差估计期望复合Wishart矩阵 $ W^0 $？
• RQ3 对于满足 $ \mathrm{Tr}(B_n) = n $ 的序列复合Wishart矩阵 $ W_n = \frac{1}{n}X B_n X^T $，其估计的样本复杂度是多少？
• RQ4 误差界如何随维度 $ p $ 变化，特别是在 $ n \approx p $ 时？
• RQ5 在一般 $ B $（包括非对称或有结构的矩阵）下，测度集中技术能否对 $ W - W^0 $ 的谱范数给出紧致界？

主要发现

• 偏差 $ \|W - W^0\| $ 的期望谱范数被界为 $ \mathbb{E}[\|W - W^0\|] \leq \frac{24 \lceil \ln(2p) \rceil^2 \sqrt{p} (4\sigma + \kappa \sqrt{\pi})}{n} $，其中 $ \sigma $ 和 $ \kappa $ 分别依赖于 $ \|B\|_{\text{Frob}} $ 和 $ \|B\| $。
• 对于满足 $ \mathrm{Tr}(B_n) = n $ 的矩阵序列 $ \{B_n\} $，该界在 $ \sigma_n \leq \sigma $、$ \kappa_n \leq \kappa $ 下一致成立，确保了在 $ n $ 上的稳定性。
• 以高概率估计 $ W^0 $ 所需的样本复杂度为 $ \mathcal{O}(\sqrt{p} \ln^2 p) $，该复杂度在 $ p $ 上为次二次方，适用于高维设置。
• 该界通过 $ \text{Reg}_p(r) \times \text{Reg}_p(s) $（$ r,s \leq p $ 的稀疏向量集合）上的并集界和高斯尾部估计推导得出。
• 即使 $ B $ 不是对称的，该结果依然成立，扩展了其在如表示论设定中出现的反对称 $ B $ 等情形下的适用性。
• 只要控制住 Frobenius 范数和谱范数，该最终界对 $ B $ 的选择具有鲁棒性，并适用于固定 $ p $ 和随 $ n $ 增长的 $ p(n) $ 情形。