[论文解读] Efficient Algorithms and Error Analysis for the Modified Nystrom Method

Shusen Wang, Zhihua Zhang|arXiv (Cornell University)|Apr 1, 2014

Stochastic Gradient Optimization Techniques参考文献 25被引用 9

一句话总结

本文提出了改进的Nyström方法的高效算法与理论分析，该方法是一种用于大规模核矩阵的低秩逼近技术。论文提出了一种简单且可证明准确的列选择算法，以及一种更快的交集矩阵计算方法，在不随矩阵规模增大而产生误差增长的前提下，实现了更低的时间复杂度与更高的精度。

ABSTRACT

Many kernel methods suffer from high time and space complexities and are thus prohibitive in big-data applications. To tackle the computational challenge, the Nyström method has been extensively used to reduce time and space complexities by sacrificing some accuracy. The Nyström method speedups computation by constructing an approximation of the kernel matrix using only a few columns of the matrix. Recently, a variant of the Nyström method called the modified Nyström method has demonstrated significant improvement over the standard Nyström method in approximation accuracy, both theoretically and empirically. In this paper, we propose two algorithms that make the modified Nyström method practical. First, we devise a simple column selection algorithm with a provable error bound. Our algorithm is more efficient and easier to implement than and nearly as accurate as the state-of-the-art algorithm. Second, with the selected columns at hand, we propose an algorithm that computes the approximation in lower time complexity than the approach in the previous work. Furthermore, we prove that the modified Nyström method is exact under certain conditions, and we establish a lower error bound for the modified Nyström method.

研究动机与目标

• 通过改进改进的Nyström方法的效率，解决大数据应用中核方法的高计算成本问题。
• 通过采用改进的Nyström方法，克服标准Nyström方法中近似误差随矩阵规模增大而增长的局限性。
• 开发一种实用且高效的改进的Nyström方法实现，可在使用更少列数的情况下保持高精度。
• 为改进的Nyström方法建立理论保证，包括精确恢复条件与更低的误差界。
• 提供一种可证明准确且计算高效的列选择算法，其在实际应用中优于现有方法。

提出的方法

• 提出一种名为'uniform+adaptive 2'的列选择算法，结合均匀采样与自适应优化，实现可证明的误差界。
• 设计一种高效算法以计算改进的Nyström方法中的交集矩阵，降低时间复杂度，尤其适用于稀疏核矩阵。
• 通过使用具有常数非对角线元素的块对角矩阵结构，在受控条件下推导理论误差界。
• 利用矩阵分解与伪逆运算，通过 ${\bf \tilde{A}}^{\textrm{mod}}_{c} = {\bf C}{\bf U}{\bf C}^{T}$ 计算低秩逼近，其中 ${\bf U} = {\bf C}^{\dagger}{\bf A}({\bf C}^{T})^{\dagger}$。
• 证明当原始核矩阵为低秩或满足特定结构条件时，改进的Nyström方法可实现精确恢复。
• 通过谱范数与Frobenius范数分析，建立改进的Nyström方法的下界误差，该下界被推测为紧致。

实验结果

研究问题

• RQ1 能否设计出比现有最先进方法更高效且可证明准确的列选择算法，用于改进的Nyström方法？
• RQ2 是否可能在不牺牲精度的前提下，降低改进的Nyström方法中交集矩阵的计算时间复杂度？
• RQ3 在何种条件下，改进的Nyström方法能精确恢复原始核矩阵？
• RQ4 改进的Nyström方法的近似误差的理论下界是什么？该下界是否紧致？
• RQ5 所提出算法的性能对列选择过程中参数 $\mu$ 的选择有多敏感？

主要发现

• 'uniform+adaptive 2'列选择算法在误差界上与近似最优+自适应算法相当，但效率显著更高且实现更简单。
• 用于计算交集矩阵的新算法降低了时间复杂度，尤其对稀疏核矩阵具有显著优势。
• 证明了当核矩阵为低秩或满足特定结构条件时，改进的Nyström方法可精确恢复原始核矩阵。
• 建立了改进的Nyström方法的下界误差，该下界被推测为紧致，且不随矩阵规模 $m$ 增大而增长。
• 实验结果表明，近似精度对参数 $\mu$ 的选择相对不敏感，且将 $\mu$ 设置为实际矩阵的一致性值并不总能获得最佳性能。
• 改进的Nyström近似在Frobenius范数下的误差被下界约束为 $(1 - \alpha)^2(m - c)\left(1 + \frac{2k}{c}\left(1 - \frac{k(1 - \alpha)(1 + o(1))}{\alpha m}\right)\right)$，当 $\alpha \to 1$ 时可获得最紧致的界。