[论文解读] Fastfood: Approximate Kernel Expansions in Loglinear Time

Quoc V. Le, Tamás Sarlós+1 more|arXiv (Cornell University)|Aug 13, 2014

Face and Expression Recognition被引用 13

一句话总结

Fastfood 提出了一种基于哈达玛矩阵和对角高斯矩阵来替代随机锅具法中密集随机矩阵的核展开的对数线性时间近似方法。该方法实现 O(n log d) 的计算复杂度和 O(n) 的存储复杂度，与标准方法相比，运行时间减少 100 倍，内存使用减少 1000 倍，同时在 RBF 和多项式核上保持了高精度。

ABSTRACT

Despite their successes, what makes kernel methods difficult to use in many large scale problems is the fact that storing and computing the decision function is typically expensive, especially at prediction time. In this paper, we overcome this difficulty by proposing Fastfood, an approximation that accelerates such computation significantly. Key to Fastfood is the observation that Hadamard matrices, when combined with diagonal Gaussian matrices, exhibit properties similar to dense Gaussian random matrices. Yet unlike the latter, Hadamard and diagonal matrices are inexpensive to multiply and store. These two matrices can be used in lieu of Gaussian matrices in Random Kitchen Sinks proposed by Rahimi and Recht (2009) and thereby speeding up the computation for a large range of kernel functions. Specifically, Fastfood requires O(n log d) time and O(n) storage to compute n non-linear basis functions in d dimensions, a significant improvement from O(nd) computation and storage, without sacrificing accuracy. Our method applies to any translation invariant and any dot-product kernel, such as the popular RBF kernels and polynomial kernels. We prove that the approximation is unbiased and has low variance. Experiments show that we achieve similar accuracy to full kernel expansions and Random Kitchen Sinks while being 100x faster and using 1000x less memory. These improvements, especially in terms of memory usage, make kernel methods more practical for applications that have large training sets and/or require real-time prediction.

研究动机与目标

• 解决大规模学习中核方法带来的高计算和内存开销，尤其是在预测阶段。
• 克服标准方法中存储和计算核展开时 O(nd) 的复杂度。
• 开发一种可扩展的近似方法，在显著降低时间和空间需求的同时保持高精度。
• 实现在资源受限设备（如手机）上的实时预测和部署。
• 提供一种通用解决方案，适用于平移不变核和点积核，如 RBF 和多项式核。

提出的方法

• 利用数学性质：随机哈达玛矩阵与对角高斯矩阵的乘积可近似为密集高斯随机矩阵。
• 在随机锅具法框架中，用该矩阵乘积替代完整的高斯矩阵，以避免昂贵的矩阵存储和乘法操作。
• 使用快速哈达玛变换（如基于 FFT 的方法）将特征映射计算时间从 O(nd) 降低至 O(n log d)。
• 通过随机化特征映射构建 n 个非线性基函数，以保持核近似的质量。
• 通过理论分析矩阵乘积分布，确保近似无偏且方差低。
• 将该方法无缝集成到现有核学习流程中，仅需极少修改，支持 RBF 和多项式核。

实验结果

研究问题

• RQ1 我们能否在不牺牲精度的前提下，以 O(n log d) 时间和 O(n) 存储实现核展开的近似？
• RQ2 哈达玛矩阵与对角矩阵的乘积是否能有效模拟密集高斯矩阵在核近似中的统计特性？
• RQ3 与随机锅具法和 Nystrom 方法相比，该方法在速度、内存和预测性能方面表现如何？
• RQ4 该方法能否扩展到大规模数据集和实时应用，包括移动设备部署？
• RQ5 该近似在多种核类型（包括 RBF 和多项式核）上是否仍保持高精度？

主要发现

• Fastfood 实现了 O(n log d) 的计算复杂度和 O(n) 的存储复杂度，相比随机锅具法实现了 100 倍的速度提升和 1000 倍的内存减少。
• 在 CIFAR-10 数据集上，Fastfood 使用 n=16,384 个基函数实现了 63.1% 的测试准确率，优于随机锅具法（62.4%），并达到使用排列不变特征的最先进结果。
• 对于 d=1,024 和 n=16,384 的单个输入向量，预测速度比随机锅具法快 24 倍（0.003s vs. 0.07s）。
• 该方法在回归任务中也保持了高精度，随着基函数数量的增加，测试 RMSE 持续改善。
• 在多种数据集（如 CPU、KEGG、Year、Forest）上的实验表明，该方法在各类任务中表现一致，准确率与基线方法相当或更优。
• 由于其低内存占用和高速计算，该方法使核方法在移动设备上的部署成为可能，实现了可行的实时预测。