[论文解读] Less is More: Nyström Computational Regularization

Alessandro Rudi, Raffaello Camoriano+1 more|arXiv (Cornell University)|Jul 17, 2015

Sparse and Compressive Sensing Techniques参考文献 29被引用 10

一句话总结

本文提出了一种基于Nyström的计算正则化方法，用于大规模核方法，其中子采样级别作为正则化参数，以平衡计算成本与泛化性能。该方法在随机采样下证明了最优学习界，并通过一种增量核正则化最小二乘方法在基准数据集上实现了最先进性能。

ABSTRACT

We study Nyström type subsampling approaches to large scale kernel methods, and prove learning bounds in the statistical learning setting, where random sampling and high probability estimates are considered. In particular, we prove that these approaches can achieve optimal learning bounds, provided the subsampling level is suitably chosen. These results suggest a simple incremental variant of Nyström Kernel Regularized Least Squares, where the subsampling level implements a form of computational regularization, in the sense that it controls at the same time regularization and computations. Extensive experimental analysis shows that the considered approach achieves state of the art performances on benchmark large scale datasets.

研究动机与目标

• 研究Nyström型子采样在大规模核方法中的统计泛化特性。
• 在统计学习框架下，建立随机采样下的学习界与高概率估计。
• 证明子采样级别可作为一种计算正则化形式，同时控制计算与正则化。
• 开发并评估一种改进可扩展性与性能的Nyström核正则化最小二乘的增量变体。

提出的方法

• 该方法采用Nyström方法对核矩阵进行随机子采样，以降低计算复杂度。
• 提出一种增量算法，动态调整子采样级别以平衡精度与效率。
• 理论分析表明，当子采样级别适切选择时，可实现最优学习界。
• 该方法将子采样级别视为正则化参数，直接将计算成本与模型泛化联系起来。
• 该框架被实现为核正则化最小二乘的增量变体，支持在大规模数据集上可扩展训练。
• 在随机采样假设下推导出高概率学习界，确保统计可靠性。

实验结果

研究问题

• RQ1 在随机采样下，Nyström子采样能否在大规模核方法中实现最优学习界？
• RQ2 子采样级别的选择如何影响计算成本与泛化性能？
• RQ3 子采样级别能否作为一种计算正则化形式，同时控制计算与正则化？
• RQ4 所提出的增量Nyström方法是否在标准大规模基准上优于现有方法？
• RQ5 在随机采样下，Nyström基核方法的泛化误差可提供哪些理论保证？

主要发现

• 当子采样级别适切选择时，所提方法可实现最优学习界，证实了理论最优性。
• 子采样级别通过同时控制模型复杂度与计算成本，有效实现了计算正则化。
• 增量Nyström核正则化最小二乘变体在大规模基准数据集上表现出最先进性能。
• 大量实验验证了该方法的可扩展性及相较于现有方法的优越泛化能力。
• 理论分析支持高概率估计，确保在随机采样假设下的鲁棒性。
• 结果验证了：当子采样级别被调优为正则化参数时，更少的数据（通过子采样）可带来更好的泛化性能。