[论文解读] How to Fake Multiply by a Gaussian Matrix

Michael Kapralov, Vamsi K. Potluru+1 more|arXiv (Cornell University)|Jun 18, 2016

Face and Expression Recognition参考文献 25被引用 4

一句话总结

该论文提出 CountGauss，一种随机化矩阵变换，可高效模拟稠密高斯矩阵的乘法。通过将 CountSketch 矩阵与高斯矩阵复合，实现 $O(\mathrm{nnz}(X)) + \tilde{O}(m^2 d^3)$ 时间计算，且总变差距离可任意接近零，使其适用于 NMF 和 SVM 等需要高斯投影以保证理论性能的应用。

ABSTRACT

Have you ever wanted to multiply an $n imes d$ matrix $X$, with $n \gg d$, on the left by an $m imes n$ matrix $ ilde G$ of i.i.d. Gaussian random variables, but could not afford to do it because it was too slow? In this work we propose a new randomized $m imes n$ matrix $T$, for which one can compute $T \cdot X$ in only $O( ext{nnz}(X)) + ilde O(m^2 \cdot d^{3})$ time, for which the total variation distance between the distributions $T \cdot X$ and $ ilde G \cdot X$ is as small as desired, i.e., less than any positive constant. Here $ ext{nnz}(X)$ denotes the number of non-zero entries of $X$. Assuming $ ext{nnz}(X) \gg m^2 \cdot d^{3}$, this is a significant savings over the naïve $O( ext{nnz}(X) m)$ time to compute $ ilde G \cdot X$. Moreover, since the total variation distance is small, we can provably use $T \cdot X$ in place of $ ilde G \cdot X$ in any application and have the same guarantees as if we were using $ ilde G \cdot X$, up to a small positive constant in error probability. We apply this transform to nonnegative matrix factorization (NMF) and support vector machines (SVM).

研究动机与目标

• 解决在高维数据应用中，对大规模矩阵与稠密高斯矩阵相乘时计算效率低下的问题。
• 开发一种变换，能够模仿高斯矩阵乘法的统计特性，同时显著降低计算时间。
• 使高斯类投影在非负矩阵分解（NMF）和支撑向量机（SVM）等机器学习工作负载中具有实际可用性。
• 克服现有快速变换（如 CountSketch、快速哈达玛变换）在保持旋转对称性或有效扩散稀疏向量方面的局限性。

提出的方法

• 提出 CountGauss 作为 CountSketch 矩阵 $S$ 与高斯矩阵 $G$ 的乘积，即 $T = G \cdot S$。
• 使用具有 $B = \tilde{O}(d^2 m)$ 行的 CountSketch 矩阵 $S$，将输入维度从 $n$ 降低至 $B$，从而在 $O(\mathrm{nnz}(X))$ 时间内实现快速的 $S \cdot X$ 计算。
• 在 $\tilde{O}(m^2 d^3)$ 时间内计算 $G \cdot (S \cdot X)$，利用 $G$ 为 $m \times B$ 且 $S \cdot X$ 为 $B \times d$ 的事实。
• 证明 $T \cdot X = G \cdot S \cdot X$ 的分布与 $\tilde{G} \cdot X$ 的分布统计上接近，总变差距离小于任意正数。
• 利用谱范数与集中不等式边界，证明 $\|E\|_2$ 很小，其中 $E = V^T R R^T V - V^T V$，确保投影空间中的畸变程度低。
• 将该变换应用于 NMF 和 SVM，表明其在显著提升运行时间的同时，仍能保持理论保证。

实验结果

研究问题

• RQ1 我们能否构建一种快速矩阵变换，使其在统计上模仿稠密高斯矩阵的乘法？
• RQ2 CountSketch 与高斯矩阵的组合是否能保持 NMF 和 SVM 等应用所需的分布特性？
• RQ3 与标准高斯投影相比，该变换能否在计算成本低的同时保持高统计保真度？
• RQ4 在 NMF 和 SVM 中，CountGauss 的性能与 CountSketch 和随机高斯投影等现有方法相比如何，特别是在准确率和速度方面？

主要发现

• 所提出的 CountGauss 变换在 $O(\mathrm{nnz}(X)) + \tilde{O}(m^2 d^3)$ 时间内计算 $T \cdot X$，当 $\mathrm{nnz}(X) \gg m^2 d^3$ 时，远快于稠密高斯乘法的朴素 $O(\mathrm{nnz}(X) \cdot m)$ 时间。
• 在 $T \cdot X$ 与 $\tilde{G} \cdot X$ 之间，总变差距离小于任意正数，确保 $T \cdot X$ 可以以极小且有界的成功概率误差替代 $\tilde{G} \cdot X$。
• 在非负矩阵分解（NMF）中，CountGauss 实现的锚点恢复性能与完整高斯投影相当，即使在噪声环境下亦然。
• 在支持向量机（SVM）中，尽管投影时间略有增加，CountGauss 的训练时间仍快于 CountSketch 和标准随机高斯投影。
• 在真实世界数据（如乳腺癌数据集）上的实验表明，CountGauss 恢复出的生物相关激活模式与高斯投影方法发现的结果相似。
• 理论分析证实，近似误差被 $\|E\|_2$ 控制，该值可被任意缩小，从而确保投影后问题的最优目标值与原始问题的最优值相差在一个常数因子内。