[论文解读] Towards More Efficient Symmetric Matrix Sketching and the CUR Matrix Decomposition

Shusen Wang, Zhihua Zhang+1 more|arXiv (Cornell University)|Mar 29, 2015

Matrix Theory and Algorithms参考文献 7被引用 5

一句话总结

本文提出Sketch-Nyström方法，这是一种新颖的混合方法，结合了矩阵压缩（matrix sketching）与Nyström方法，实现了线性时间对称矩阵近似，并具有$1+\epsilon$相对误差精度。该方法可高效计算大规模对称矩阵的特征值与核学习，显著优于传统压缩方法的二次时间复杂度，以及纯Nyström方法的低精度问题。

ABSTRACT

Matrix sketching schemes and the Nystr\om method have both been extensively used to speed up large-scale eigenvalue computation and kernel learning methods. Matrix sketching methods produce accurate matrix approximations, but they are only computationally efficient on skinny matrices where one of the matrix dimensions is relatively small. In particular, they are not efficient on large square matrices. The Nystr\om method, on the other hand, is highly efficient on symmetric (and thus square) matrices, but can only achieve low matrix approximation accuracy. In this paper we propose a novel combination of the sketching method and the Nystr\om method to improve their efficiency/effectiveness, leading to a novel approximation which we call the Sketch-Nystr\om method. The Sketch-Nystr\om method is computationally nearly as efficient as the Nystr\om method on symmetric matrices with approximation accuracy comparable to that of the sketching method. We show theoretically that the Sketch-Nystr\om method can potentially solve eigenvalue problems and kernel learning problems in linear time with respect to the matrix size to achieve $1+\epsilon$ relative-error, whereas the sketch methods and the Nystr\om method cost at least quadratic time to attain comparable error bound. Our technique can be straightforwardly applied to make the CUR matrix decomposition more efficiently computed without much affecting the accuracy. Empirical experiments demonstrate the effectiveness of the proposed methods.

研究动机与目标

• 解决大规模对称方阵上矩阵压缩的低效问题。
• 克服Nyström方法在对称矩阵设置下近似精度较低的问题。
• 开发一种混合方法，结合Nyström方法的计算效率与压缩方法的高精度。
• 实现对称矩阵近似的线性时间计算，并保证$1+\epsilon$相对误差。
• 在不牺牲精度的前提下，提升CUR矩阵分解的效率。

提出的方法

• 通过整合矩阵压缩与Nyström方法，提出一种新的矩阵近似框架——Sketch-Nyström方法。
• 使用随机投影对对称矩阵进行压缩，降低维度的同时保留其谱结构。
• 对压缩后的矩阵应用Nyström方法，以利用对称性并加速计算。
• 推导理论界，证明该方法可在线性时间内实现$1+\epsilon$相对误差近似。
• 利用所得的低秩近似，高效计算CUR分解。
• 确保该方法在保持与标准压缩方法相当的高近似精度的同时，实现Nyström方法级别的计算效率。

实验结果

研究问题

• RQ1 能否设计一种混合方法，将矩阵压缩的精度与Nyström方法的效率在对称矩阵上相结合？
• RQ2 此类混合方法的近似误差可建立何种理论保证？
• RQ3 所提方法能否在对称矩阵上实现线性时间内的$1+\epsilon$相对误差近似？
• RQ4 在精度与计算成本方面，Sketch-Nyström方法相较于标准压缩方法与Nyström方法表现如何？
• RQ5 该方法能否有效用于加速CUR矩阵分解？

主要发现

• Sketch-Nyström方法在对称矩阵上实现了线性时间内的$1+\epsilon$相对误差近似，优于标准压缩方法与Nyström方法。
• 该方法将计算成本从二次时间复杂度降低至线性时间复杂度，同时保持高近似精度。
• 实验结果证实，Sketch-Nyström方法在大规模对称矩阵上实现了速度与精度之间的优越权衡。
• 该方法可高效计算CUR矩阵分解，且精度损失极小。
• 理论分析表明，该方法在实现$1+\epsilon$相对误差近似方面具有最优的时间复杂度。
• 该方法可直接应用于核学习与特征值问题，显著加速大规模对称数据上的相关计算。