[论文解读] Dimension-free tail inequalities for sums of random matrices

Daniel Hsu, Sham M. Kakade+1 more|arXiv (Cornell University)|Apr 9, 2011

Sparse and Compressive Sensing Techniques参考文献 27被引用 12

一句话总结

本文通过用基于迹的量代替显式的矩阵维数，提出了随机矩阵和的无维尾部不等式，从而实现了在高维或无限维空间中的应用。利用Lieb的凹迹不等式和指数矩方法的矩阵推广，作者推导出尾部为 $ t(e^t - t - 1)^{-1} $ 的界，其在 $ t $ 较大时近似为 $ e^{-t/2} $，并将其应用于主成分分析和近似矩阵乘法，实现了失败概率的对数样本复杂度。

ABSTRACT

We derive exponential tail inequalities for sums of random matrices with no dependence on the explicit matrix dimensions. These are similar to the matrix versions of the Chernoff bound and Bernstein inequality except with the explicit matrix dimensions replaced by a trace quantity that can be small even when the dimension is large or infinite. Some applications to principal component analysis and approximate matrix multiplication are given to illustrate the utility of the new bounds.

研究动机与目标

• 解决现有矩阵集中不等式显式依赖于矩阵维数的问题，从而限制其在无限维设定中的应用。
• 提出一个通用框架，用内在的迹基量（如二阶矩矩阵的迹）替代维数依赖性。
• 在主成分分析和近似矩阵乘法等应用中实现更紧致且更实用的界。
• 在仅带来轻微且渐近可忽略的尾部衰减退化的情况下，实现无维集中，与标准指数界相比。

提出的方法

• 利用Lieb的凹迹不等式，将指数矩方法推广至矩阵情形。
• 通过累积生成矩阵的迹，推导出一个通用的尾部不等式，以迹量替代维数。
• 将该方法应用于推导一种矩阵Bernstein型不等式，其中维数被 $ \operatorname{tr}(\mathbb{E}[X_i^2]) $ 取代，后者是内在维数的度量。
• 通过Golden-Thompson不等式和Lieb定理的矩阵版本，控制特征值偏差，实现Chernoff界在矩阵情形的推广。
• 通过按 $ \|a_i\|_2\|b_i\|_2 $ 比例采样列，将界应用于近似矩阵乘法，确保失败概率的对数依赖性。
• 采用并集界和谱范数分析，控制采样方案下矩阵近似中的误差。

实验结果

研究问题

• RQ1 能否通过用基于迹的量替代显式的矩阵维数，使矩阵集中不等式实现无维化？
• RQ2 此类无维界尾部衰减与经典指数界相比如何？
• RQ3 这些界能否在高维或无限维空间中的主成分分析中有效应用？
• RQ4 使用随机列采样近似矩阵积时，所需最小样本数是多少？
• RQ5 能否利用这些新界将样本复杂度对失败概率的依赖从多项式降低为对数？

主要发现

• 本文推导出一种无维矩阵Bernstein不等式，其中矩阵维数被 $ \operatorname{tr}(\mathbb{E}[X_i^2]) $ 取代，即使在无限维设定下该值也可保持较小。
• 尾部界的形式为 $ \Pr[\cdots] \leq \operatorname{tr}(\cdot) \cdot t(e^t - t - 1)^{-1} $，当 $ t \geq 2.6 $ 时衰减为 $ e^{-t/2} $，因此渐近意义上近乎最优。
• 对于近似矩阵乘法，所需样本数 $ n $ 的量级为 $ O\left(\frac{(1 + \sqrt{r_A r_B}) \log(1/\delta)}{\epsilon^2}\right) $，对失败概率 $ \delta $ 具有对数依赖性。
• 该方法确保以高概率 $ 1 - \delta $，近似 $ AB^T $ 的谱范数误差被控制在 $ \epsilon \|A\|_2\|B\|_2 $ 以内，其中 $ r_A, r_B $ 分别为 $ A $ 和 $ B $ 的数值秩。
• 基于迹的界使得在无限维特征空间（如核方法中出现的）中对主成分分析进行有效分析成为可能。
• 该方法优于先前工作，实现了具有对数失败概率依赖的指数尾部界，而早期方法则需要多项式依赖。