[论文解读] Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\\"om method

Michał Dereziński, Rajiv Khanna+1 more|arXiv (Cornell University)|Feb 20, 2020

Sparse and Compressive Sensing Techniques参考文献 57被引用 13

一句话总结

本论文通过利用数据矩阵的谱特性，为列子集选择（Column Subset Selection）和Nyström方法提供了改进的理论保证，揭示了近似误差随子集大小k变化的新型多峰下降曲线。分析表明，近似因子的峰值与谷值数量取决于谱衰减特性，且提供了比多项式或指数奇异值衰减矩阵的最坏情况保证更紧的界。

ABSTRACT

The Column Subset Selection Problem (CSSP) and the Nystr\\"om method are among the leading tools for constructing small low-rank approximations of large datasets in machine learning and scientific computing. A fundamental question in this area is: how well can a data subset of size k compete with the best rank k approximation? We develop techniques which exploit spectral properties of the data matrix to obtain improved approximation guarantees which go beyond the standard worst-case analysis. Our approach leads to significantly better bounds for datasets with known rates of singular value decay, e.g., polynomial or exponential decay. Our analysis also reveals an intriguing phenomenon: the approximation factor as a function of k may exhibit multiple peaks and valleys, which we call a multiple-descent curve. A lower bound we establish shows that this behavior is not an artifact of our analysis, but rather it is an inherent property of the CSSP and Nystr\\"om tasks. Finally, using the example of a radial basis function (RBF) kernel, we show that both our improved bounds and the multiple-descent curve can be observed on real datasets simply by varying the RBF parameter.

研究动机与目标

• 改进列子集选择和Nyström方法的标准最坏情况近似保证k+1。
• 理解为何在具有结构化谱衰减的数据集中，实际性能通常优于最坏情况界。
• 表征近似因子作为子集大小k的函数的内在行为，特别是与谱结构的关系。
• 证明多峰下降现象——即近似误差随k表现出多个峰值和谷值——并非分析的产物，而是CSSP和Nyström任务的内在属性。
• 验证随机（k-DPP）和贪婪子集选择方法均表现出多峰下降曲线，与理论预测一致。

提出的方法

• 基于广义稳定秩概念（称为主定理，定理1），推导出CSSP近似因子的一族上界，该上界依赖于谱衰减速率。
• 针对已知奇异值衰减（如多项式或指数衰减）的矩阵，推导出改进的界（定理2），显著优于k+1的最坏情况界。
• 提出一种新的下界构造（定理3），证明多峰下降行为是内在的，而非分析的产物。
• 分析近似因子作为子集大小k的函数，并将其峰值与谷值与数据矩阵谱的急剧下降联系起来。
• 通过在合成数据和真实数据集（如不同σ值的RBF核）上使用k-DPP和贪婪子集选择，实证验证了多峰下降曲线，显示谱下降与性能峰值的一致性。
• 利用RBF核作为可调机制，通过调节RBF参数σ，在真实数据中观察到多峰下降曲线。

实验结果

研究问题

• RQ1 我们能否推导出列子集选择和Nyström方法的改进近似保证，超越最坏情况的k+1界？
• RQ2 谱特性（特别是奇异值衰减）在决定近似因子随子集大小k变化的行为中起什么作用？
• RQ3 在近似因子中观察到的多峰值与谷值行为（多峰下降）是分析的产物，还是问题的内在属性？
• RQ4 随机（k-DPP）和贪婪子集选择方法是否均表现出多峰下降曲线？若然，其与谱结构的对齐关系如何？
• RQ5 RBF核参数能否用于调节谱衰减，从而在真实数据集中实证观察到多峰下降现象？

主要发现

• 本文建立了新的上界族（定理1），显著优于最坏情况的k+1保证，尤其适用于奇异值衰减迅速的矩阵。
• 对于具有多项式或指数奇异值衰减的矩阵，近似因子可远优于k+1，如定理2所示。
• 新的下界（定理3）证明，多峰下降行为——即近似因子随k表现出多个峰值与谷值——是CSSP和Nyström任务的内在属性。
• 在真实数据集上，k-DPP和贪婪子集选择方法均实证观察到多峰下降曲线，尤其在使用不同σ值的RBF核时。
• 近似因子的峰值与谱的急剧下降位置一致，证实谱结构直接影响性能曲线。
• 当谱衰减平滑时，多峰下降现象消失，近似因子保持接近1，表明此类矩阵的性能更优。