[论文解读] Improved guarantees and a multiple-descent curve for the Column Subset Selection Problem and the Nyström method.

Michał Dereziński, Rajiv Khanna+1 more|arXiv (Cornell University)|Feb 21, 2020

Sparse and Compressive Sensing Techniques参考文献 29被引用 6

一句话总结

该论文通过利用数据矩阵的谱特性，改进了列子集选择问题（CSSP）和Nyström方法的近似保证，为具有多项式或指数奇异值衰减的数据集得出了更紧的界。论文揭示了近似误差随子集大小k变化的新型多谷值曲线，证明该行为是内在特性而非人为产物，并通过调节RBF参数在真实RBF核数据上验证了该现象。

ABSTRACT

The Column Subset Selection Problem (CSSP) and the Nystrom method are among the leading tools for constructing small low-rank approximations of large datasets in machine learning and scientific computing. A fundamental question in this area is: how well can a data subset of size k compete with the best rank k approximation? We develop techniques which exploit spectral properties of the data matrix to obtain improved approximation guarantees which go beyond the standard worst-case analysis. Our approach leads to significantly better bounds for datasets with known rates of singular value decay, e.g., polynomial or exponential decay. Our analysis also reveals an intriguing phenomenon: the approximation factor as a function of k may exhibit multiple peaks and valleys, which we call a multiple-descent curve. A lower bound we establish shows that this behavior is not an artifact of our analysis, but rather it is an inherent property of the CSSP and Nystrom tasks. Finally, using the example of a radial basis function (RBF) kernel, we show that both our improved bounds and the multiple-descent curve can be observed on real datasets simply by varying the RBF parameter.

研究动机与目标

• 在标准分析之外，改进列子集选择问题（CSSP）和Nyström方法的最坏情况近似保证。
• 开发利用数据矩阵谱特性的技术，以针对已知奇异值衰减速率的数据集获得更紧的界。
• 探究作为子集大小k函数的近似误差行为是否为人为产物，或为CSSP和Nyström任务的固有特性。
• 通过调节RBF参数，在真实世界数据集上验证理论发现，使用径向基函数（RBF）核。

提出的方法

• 作者提出一种基于谱的分析框架，将奇异值衰减速率纳入CSSP和Nyström的近似误差界中。
• 推导出依赖于奇异值衰减速率（如多项式或指数衰减）的改进上界。
• 该方法揭示了近似因子随k变化的多谷值曲线，其中误差呈现多个峰值与谷值。
• 建立了理论下界，以证明多谷值行为并非分析中的人为产物，而是CSSP和Nyström问题的内在特征。
• 通过调节RBF参数在RBF核矩阵上进行实证验证，该参数改变谱特性，并在多谷值曲线上引发可观测变化。

实验结果

研究问题

• RQ1 数据矩阵的谱特性能否带来列子集选择问题与Nyström方法的改进近似保证？
• RQ2 作为子集大小k函数的近似误差是否表现出多谷值行为？该行为是固有特性还是分析中的人为产物？
• RQ3 通过调节超参数（如RBF参数）是否可在真实数据集中观测到改进的理论界与多谷值现象？
• RQ4 不同奇异值衰减速率（如多项式与指数衰减）如何影响通过列选择实现的低秩逼近质量？

主要发现

• 所提出的基于谱的分析方法显著收紧了具有已知奇异值衰减率的数据集的近似界，尤其在多项式或指数衰减情况下效果更显著。
• 作为k函数的近似因子表现出具有多个峰值与谷值的多谷值曲线，通过下界证明该行为是CSSP与Nyström任务的内在特性。
• 通过调节RBF参数，该多谷值行为在真实RBF核数据集中可被实证观测到，证实了理论预测。
• 改进的界不仅适用于最坏情况，对具有可预测奇异值衰减的结构化数据集尤为有效。