[论文解读] F2F: A Library For Fast Kernel Expansions.

J. de Curtò, I. de Zarzà+3 more|arXiv (Cornell University)|Feb 27, 2017

Gaussian Processes and Bayesian Inference参考文献 2被引用 1

一句话总结

F2F 提出 McKernel，一个 C++ 库，利用受 Random Kitchen Sinks 启发的随机特征映射实现快速核展开，并通过缓存友好的快速 Walsh-Hadamard 变换进行优化。该方法在小批量随机梯度下降中实现对数线性时间计算，使用线性分类器在 MNIST 和 Fashion-MNIST 上实现了具有竞争力的非线性分类性能，且在大规模场景下优于传统核方法。

ABSTRACT

McKernel introduces a framework to use kernel approximates in the mini-batch setting with Stochastic Gradient Descent (SGD) as an alternative to Deep Learning. Based on Random Kitchen Sinks [Rahimi and Recht 2007], we provide a C++ library for Large-scale Machine Learning. It contains a CPU optimized implementation of the algorithm in [Le et al. 2013], that allows the computation of approximated kernel expansions in log-linear time. The algorithm requires to compute the product of matrices Walsh Hadamard. A cache friendly Fast Walsh Hadamard that achieves compelling speed and outperforms current state-of-the-art methods has been developed. McKernel establishes the foundation of a new architecture of learning that allows to obtain large-scale non-linear classification combining lightning kernel expansions and a linear classifier. It travails in the mini-batch setting working analogously to Neural Networks. We show the validity of our method through extensive experiments on MNIST and FASHION MNIST [Xiao et al. 2017].

研究动机与目标

• 在小批量随机梯度下降设置下，通过核近似实现大规模非线性分类。
• 通过使用 Walsh-Hadamard 变换进行矩阵乘法加速核展开，克服传统核方法的计算瓶颈。
• 开发一种缓存优化的快速 Walsh-Hadamard 变换，其性能优于现有最先进实现，适用于大规模学习。
• 构建一种新型学习架构，结合快速核展开与线性分类器，其训练动态类似于神经网络。
• 在 MNIST 和 Fashion-MNIST 等标准基准数据集上，通过可扩展的小批量训练验证该方法的有效性。

提出的方法

• 基于 Random Kitchen Sinks 框架的随机特征映射，高效近似核函数。
• 利用缓存优化的快速 Walsh-Hadamard 变换（FWHT），加速核展开所需的矩阵乘法。
• 通过利用 Walsh-Hadamard 矩阵的结构化矩阵运算，在对数线性时间内计算核展开。
• 将核近似集成到小批量 SGD 训练流水线中，模拟深度神经网络的训练动态。
• 在变换后的特征上使用线性分类器，实现非线性决策边界，而无需显式计算核函数。
• 优化 FWHT 实现中的内存访问模式，以提升现代 CPU 架构上的性能。

实验结果

研究问题

• RQ1 能否通过小批量 SGD 高效扩展基于随机特征映射的快速核展开以处理大规模数据集？
• RQ2 缓存优化的快速 Walsh-Hadamard 变换如何提升大规模学习中核近似的性能？
• RQ3 在随机特征上使用线性分类器能否在标准视觉基准测试中达到与非线性模型相当的性能？
• RQ4 与现有核近似技术相比，该方法在速度和准确率方面表现如何？
• RQ5 快速核展开与线性分类的结合是否能在真实世界数据集（如 MNIST 和 Fashion-MNIST）上保持泛化性能？

主要发现

• 缓存优化的快速 Walsh-Hadamard 变换性能优于现有最先进实现，显著加速核展开。
• McKernel 实现了核展开的对数线性时间计算，大幅缩短大规模数据集的训练时间。
• 该方法仅使用随机特征上的线性分类器，就在 MNIST 和 Fashion-MNIST 上实现了具有竞争力的分类准确率。
• 该框架在小批量 SGD 设置下运行良好，展现出与神经网络相似的训练动态。
• 该方法为深度学习和传统核方法提供了一种可扩展的替代方案，特别适用于大规模非线性分类。
• 大量实验验证了该方法在标准基准数据集上的有效性与高效性。