[论文解读] Data-dependent compression of random features for large-scale kernel approximation

Raj Agrawal, Trevor Campbell+2 more|arXiv (Cornell University)|Oct 9, 2018

Stochastic Gradient Optimization Techniques被引用 13

一句话总结

本文提出一种数据相关的压缩方法，可将大量随机特征减少为少量加权子集，同时保持核近似的理论保证。通过结合随机特征映射与高效的数据驱动特征选择，该方法仅使用 O(log J₊) 个特征即可实现接近最优的核矩阵近似——显著少于当前最先进方法——并在包含超过 5000 万个样本的数据集上得到验证。

ABSTRACT

Kernel methods offer the flexibility to learn complex relationships in modern, large data sets while enjoying strong theoretical guarantees on quality. Unfortunately, these methods typically require cubic running time in the data set size, a prohibitive cost in the large-data setting. Random feature maps (RFMs) and the Nystrom method both consider low-rank approximations to the kernel matrix as a potential solution. But, in order to achieve desirable theoretical guarantees, the former may require a prohibitively large number of features J+, and the latter may be prohibitively expensive for high-dimensional problems. We propose to combine the simplicity and generality of RFMs with a data-dependent feature selection scheme to achieve desirable theoretical approximation properties of Nystrom with just O(log J+) features. Our key insight is to begin with a large set of random features, then reduce them to a small number of weighted features in a data-dependent, computationally efficient way, while preserving the statistical guarantees of using the original large set of features. We demonstrate the efficacy of our method with theory and experiments--including on a data set with over 50 million observations. In particular, we show that our method achieves small kernel matrix approximation error and better test set accuracy with provably fewer random features than state-of-the-art methods.

研究动机与目标

• 通过减少实现准确核近似所需的随机特征数量，解决大规模设置下核方法的高计算成本问题。
• 将 Nyström 方法的理论鲁棒性与随机特征映射的简洁性和通用性相结合。
• 开发一种计算高效的、数据相关的特征选择方案，同时保持原始大规模特征集的统计保证。
• 在显著减少特征数量的前提下，实现优于现有方法的可证明更优近似误差和测试准确率。

提出的方法

• 从一组数量为 J₊ 的大量随机特征出发，以确保理论近似保证。
• 应用一种数据相关的压缩方案，从初始集合中选择一个小型加权特征子集。
• 利用凸优化框架，基于数据几何结构和核结构识别最具信息量的特征。
• 利用凸包和基于距离的准则，优先选择最能代表数据流形的特征。
• 确保压缩后的特征集保持与完整集合相同的统计特性，包括核矩阵近似误差界。
• 优化选择过程，使其能高效扩展至大规模数据集，如包含超过 5000 万个样本的数据集。

实验结果

研究问题

• RQ1 数据相关的压缩方案是否能在保持理论保证的前提下，减少核近似所需的随机特征数量？
• RQ2 与 Nyström 方法和标准随机特征映射相比，所提方法在近似误差和测试准确率方面表现如何？
• RQ3 在数据相关选择下，实现接近最优核近似的最小特征数量是多少？
• RQ4 该方法是否能在保持低计算成本的同时，扩展至大规模数据集（如超过 5000 万个样本）？

主要发现

• 该方法在仅使用 O(log J₊) 个特征的情况下，实现了与完整随机特征映射相当的核矩阵近似误差，显著降低了特征数量。
• 在包含超过 5000 万个样本的数据集中，该方法在使用远少于当前最先进方法的特征数量的同时，仍保持了高测试集准确率。
• 数据相关的压缩方案保留了原始大规模特征集的理论近似保证，确保了鲁棒性能。
• 与标准随机特征映射和基于 Nyström 的方法相比，该方法在显著降低特征维度的前提下，同时实现了更低的近似误差和更高的测试准确率。