[论文解读] The Modified Nystrom Method: Theories, Algorithms, and Extension.

Shusen Wang, Luo Luo+1 more|arXiv (Cornell University)|Jun 22, 2014

Tensor decomposition and applications参考文献 10被引用 6

一句话总结

本文提出 SS-Nyström 方法，作为改进型 Nyström 方法的扩展，可在几乎相同的计算效率下实现显著更高的核矩阵近似精度。通过引入一种新颖的列选择策略和优化的近似算法，该方法显著降低了误差界，尤其在核谱衰减缓慢的情况下表现更优，在真实世界数据集上优于标准和改进型 Nyström 方法。

ABSTRACT

Many kernel methods suffer from high time and space complexities, so they are prohibitive in big-data applications. To tackle the computational challenge, the Nyström method has been extensively used to reduce time and space complexities by sacrificing some accuracy. The Nyström method speedups computation by constructing an approximation of the kernel matrix in question using only a few columns of the matrix. Recently, a variant of the Nyström method called the modified Nyström method has demonstrated significant improvement over the standard Nyström method in approximation accuracy, both theoretically and empirically. In this paper we provide theoretical analysis, efficient algorithms, and a simple but highly accurate extension for the modified Nyström method. First, we prove that the modified Nyström method is exact under certain conditions, and we establish a lower error bound for the modified Nyström method. Second, we develop two efficient algorithms to make the modified Nyström method efficient and practical. We devise a simple column selection algorithm with a provable error bound. With the selected columns at hand, we propose an algorithm that computes the modified Nyström approximation in lower time complexity than the approach in the previous work. Third, the extension which we call the SS-Nyström method has much stronger error bound than the modified Nyström method, especially when the spectrum of the kernel matrix decays slowly. Our proposed SS-Nyström can be computed nearly as efficiently as the modified Nyström method. Finally, experiments on real-world datasets demonstrate that the proposed column selection algorithm is both efficient and accurate and that the SS-Nyström method always leads to much higher kernel approximation accuracy than the standard/modified Nyström method.

研究动机与目标

• 解决核方法在大数据应用中的高时间和空间复杂度问题。
• 提升 Nyström 方法的近似精度，该方法传统上以牺牲精度换取效率。
• 开发一种理论基础扎实且计算高效的改进型 Nyström 方法变体，具备可证明的误差界。
• 提出一种扩展方法——SS-Nyström，其在核矩阵特征值衰减缓慢时可实现更强的误差界。
• 在真实世界数据集上展示所提出的列选择与近似算法的实际有效性。

提出的方法

• 提出一种具有可证明误差界的新型列选择算法，确保核矩阵列的高质量采样。
• 设计一种高效算法以计算改进型 Nyström 近似，其时间复杂度低于先前方法。
• 提出 SS-Nyström 方法作为扩展，通过优化核矩阵的低秩结构来提升近似精度。
• 理论分析表明，改进型 Nyström 方法在特定条件下是精确的，并建立了更低的误差界。
• 利用核矩阵的谱特性指导列选择，提升近似稳定性。
• SS-Nyström 方法在保持与改进型 Nyström 方法相当的计算效率的同时，显著降低了误差。

实验结果

研究问题

• RQ1 改进型 Nyström 方法在何种条件下是精确的？其理论最低误差界是什么？
• RQ2 能否设计一种具有可证明误差保证的列选择策略，以提升改进型 Nyström 方法的精度？
• RQ3 如何在不损失精度的前提下降低改进型 Nyström 近似的时间复杂度？
• RQ4 所提出的 SS-Nyström 方法是否在核矩阵谱衰减缓慢时显著优于改进型 Nyström 方法，实现更强的误差界？
• RQ5 所提出的算法在真实世界大规模数据集上是否兼具高效性与准确性？

主要发现

• 当所选列张成核矩阵的列空间时，改进型 Nyström 方法是精确的，并建立了理论最低误差界。
• 所提出的列选择算法在保证高精度的同时具有较低的计算成本，其可证明的误差界优于先前方法。
• 用于计算改进型 Nyström 近似的新型算法相比先前方法降低了时间复杂度。
• SS-Nyström 方法在核矩阵谱衰减缓慢的情况下，其误差界显著优于改进型 Nyström 方法。
• 在真实世界数据集上的实验结果表明，SS-Nyström 方法在核近似精度方面始终优于标准和改进型 Nyström 方法。
• 所提出的列选择与近似算法管道在实践中兼具高效性与准确性，展现出在真实数据集上的可扩展性与鲁棒性。