[论文解读] Fast Randomized Kernel Methods With Statistical Guarantees

A. El Alaoui, Michael W. Mahoney|arXiv (Cornell University)|Nov 2, 2014

Stochastic Gradient Optimization Techniques参考文献 16被引用 55

一句话总结

本文提出了一种快速随机化核方法，用于核岭回归，通过使用统计杠杆度量的新变体，将采样复杂度降低至有效维数 $d_{\text{eff}}$。通过在 $O(np^2)$ 时间内计算这些度量的粗略近似，该方法在较少列数下实现了优于以往依赖最大自由度 $d_{\text{mof}}$ 的方法的统计保证，通常导致 $d_{\text{eff}} \ll d_{\text{mof}}$。该方法在保持近似最优预测性能的同时，实现了更快的计算速度和更紧的泛化界。

ABSTRACT

One approach to improving the running time of kernel-based machine learning methods is to build a small sketch of the input and use it in lieu of the full kernel matrix in the machine learning task of interest. Here, we describe a version of this approach that comes with running time guarantees as well as improved guarantees on its statistical performance. By extending the notion of \emph{statistical leverage scores} to the setting of kernel ridge regression, our main statistical result is to identify an importance sampling distribution that reduces the size of the sketch (i.e., the required number of columns to be sampled) to the \emph{effective dimensionality} of the problem. This quantity is often much smaller than previous bounds that depend on the \emph{maximal degrees of freedom}. Our main algorithmic result is to present a fast algorithm to compute approximations to these scores. This algorithm runs in time that is linear in the number of samples---more precisely, the running time is $O(np^2)$, where the parameter $p$ depends only on the trace of the kernel matrix and the regularization parameter---and it can be applied to the matrix of feature vectors, without having to form the full kernel matrix. This is obtained via a variant of length-squared sampling that we adapt to the kernel setting in a way that is of independent interest. Lastly, we provide empirical results illustrating our theory, and we discuss how this new notion of the statistical leverage of a data point captures in a fine way the difficulty of the original statistical learning problem.

研究动机与目标

• 将基于 Nystr\
• 引入一种专为核岭回归设计的新型 $\lambda$-岭杠杆度量，更好地反映学习的统计难度。
• 开发一种在 $O(np^2)$ 时间内计算这些杠杆度量粗略近似的快速算法，其中 $p$ 仅依赖于核矩阵的迹和正则化参数。
• 证明：使用该分布采样 $O(d_{\text{eff}}/\epsilon)$ 列可实现 $1+\epsilon$ 的统计性能保证，优于均匀采样。

提出的方法

• 为核岭回归定义一种新的统计杠杆度量变体——$\lambda$-岭杠杆度量，其源自正则化核矩阵的投影矩阵。
• 证明用于 Nystr\
• 提出一种基于平方长度采样的快速算法，适用于核设置，可在 $O(np^2)$ 时间内计算 $\lambda$-岭杠杆度量的近似值。
• 将近似后的杠杆度量用作非均匀采样分布，以选择 Nystr\
• 建立理论保证，表明所得到的低秩近似在预测风险方面相对于完整核矩阵实现了 $1+\epsilon$ 的相对误差。
• 在合成数据集和真实数据集上对方法进行实证验证，表明 $d_{\text{eff}} \ll d_{\text{mof}}$，且当 $p = O(d_{\text{eff}})$ 时，风险比接近 1。

实验结果

研究问题

• RQ1 基于 Nystr\
• RQ2 在核岭回归中是否存在一种类似杠杆度量的统计量，能比现有度量更好地捕捉学习问题的本质维度？
• RQ3 这种杠杆度量能否在与样本数线性相关的计算时间内高效计算，而不会带来过高的计算开销？
• RQ4 使用这种新型杠杆度量作为采样分布，是否能相比均匀采样带来更优的统计性能保证？
• RQ5 有效维数 $d_{\text{eff}}$ 是否是准确 Nystr\

主要发现

• 所提方法仅使用 $O(d_{\text{eff}}/\epsilon)$ 列即可实现 $1+\epsilon$ 的统计性能保证，当 $d_{\text{eff}} \ll d_{\text{mof}}$ 时，显著优于 Bach（2013）的 $O(d_{\text{mof}}/\epsilon)$ 边界。
• 实证结果表明，$d_{\text{eff}}$ 通常远小于 $d_{\text{mof}}$，在 Pumadyn 数据集的 RBF 核上，比值最高可达 $d_{\text{eff}}/d_{\text{mof}} \approx 0.048$。
• 在所有测试数据集中，当 $p = 2d_{\text{eff}}$ 时，风险比 $\mathcal{R}(\hat{f}_L)/\mathcal{R}(\hat{f}_K)$ 均保持在 1.01–1.10 的范围内，确认了理论保证。
• 该算法在 $O(np^2)$ 时间内计算近似 $\lambda$-岭杠杆度量，其中 $p$ 仅依赖于核矩阵的迹和正则化参数，因此具有可扩展性。
• 在合成伯努利数据集中，$\lambda$-岭杠杆度量成功识别出代表性不足的区域（如区间中心），展示了其检测结构重要点的能力。
• 在 Pumadyn 和气体传感器数据集的 RBF 核上，当 $p = d_{\text{eff}}$ 时，该方法实现了 0.99–1.00 的风险比，表明在极小采样下即可实现近似最优性能。