[论文解读] Compact Random Feature Maps

Roszilah Hamid, Ying Xiao+2 more|arXiv (Cornell University)|Dec 17, 2013

Advanced Image and Video Retrieval Techniques参考文献 21被引用 23

一句话总结

该论文提出了一种紧凑随机特征映射（CRAFTMaps）方法，通过先使用随机特征将数据投影到高维空间，再通过紧凑的下采样投影到低维空间，以消除秩不足问题并提升学习效率，从而改进多项式核近似。CRAFTMaps在减小特征空间大小的同时，实现了更优的核重构和分类准确率，在MNIST、USPS、COIL100和PENDIGITS数据集上优于先前方法，尤其在MNIST 8M数据集上实现了0.91%的测试误差。

ABSTRACT

Kernel approximation using randomized feature maps has recently gained a lot of interest. In this work, we identify that previous approaches for polynomial kernel approximation create maps that are rank deficient, and therefore do not utilize the capacity of the projected feature space effectively. To address this challenge, we propose compact random feature maps (CRAFTMaps) to approximate polynomial kernels more concisely and accurately. We prove the error bounds of CRAFTMaps demonstrating their superior kernel reconstruction performance compared to the previous approximation schemes. We show how structured random matrices can be used to efficiently generate CRAFTMaps, and present a single-pass algorithm using CRAFTMaps to learn non-linear multi-class classifiers. We present experiments on multiple standard data-sets with performance competitive with state-of-the-art results.

研究动机与目标

• 为解决现有随机特征映射在多项式核近似中因秩不足和特征空间容量未被充分利用而导致的低效问题。
• 开发一种方法，以更简洁的方式捕捉高维随机特征映射的信息内容，降低维度而不损失核近似的准确性。
• 在流式或大规模设置下，实现使用紧凑特征表示的高效单次遍历非线性多分类器学习。
• 利用结构化随机矩阵（如Hadamard矩阵）加速特征映射流程中的上采样和下采样步骤。
• 证明CRAFTMaps在核重构和下游分类任务中均优于当前最先进的随机特征映射方法。

提出的方法

• CRAFTMaps采用两阶段流程：首先，使用标准随机特征映射将数据非线性投影到高维空间ℝᴰ，以最小化核近似误差。
• 然后，通过结构化随机矩阵将投影后的向量线性下采样到低维空间ℝᴱ（E < D），以紧凑方式表示特征空间的本质结构。
• 下采样矩阵的设计旨在近似保持内积，确保所得特征映射保持准确的核近似特性。
• 采用Hadamard变换等结构化随机矩阵，将矩阵乘法的计算成本从O(n³)降低至O(n² log n)。
• 提出一种新方法，将结构化随机投影适配到上采样阶段，此前标准方法无法实现此目标。
• CRAFTMaps被集成到基于Hessian的单次遍历学习框架中，结合纠错输出编码（ECOC）实现高效的多分类学习。

实验结果

研究问题

• RQ1 两阶段随机特征映射流程（先上采样后下采样）是否能比直接随机特征映射实现更好的核近似？
• RQ2 下采样步骤是否能减少秩不足问题，并提升特征空间在学习任务中的有效利用率？
• RQ3 结构化随机矩阵能否有效应用于上采样和下采样两个步骤，以加速计算同时保持近似质量？
• RQ4 CRAFTMaps的紧凑表示是否能带来更快更准确的分类性能，特别是在大规模或流式设置下？
• RQ5 在测试误差和计算效率方面，CRAFTMaps与当前最先进的随机特征映射方法相比表现如何？

主要发现

• 在原始MNIST数据集上，CRAFTMaps使用E = 2¹³和D = 2¹⁵时实现了1.12%的测试分类误差，优于标准随机特征映射和张量压缩（tensor sketching）方法。
• 在MNIST 8M数据集上，CRAFTMaps使用E = 2¹⁶和D = 2¹⁹及7阶多项式核时，实现了0.91%的测试误差，证明了其在大规模数据上的可扩展性。
• 该方法展现出显著的计算优势：与标准随机特征映射和张量压缩相比，CRAFTMaps在单位数据上的计算时间更短，尤其在特征空间规模增大时更为明显。
• 图7显示，由于特征空间的紧凑性，CRAFTMaps在Hessian计算占主导的场景下，显著优于基线方法，计算效率更高。
• 在MNIST、USPS、COIL100和PENDIGITS数据集上的实证结果表明，CRAFTMaps在多种特征空间大小和多项式阶数下，均一致地降低了测试误差，优于Kar & Karnick (2012) 和 Pham & Pagh (2013) 的方法。
• 理论误差界证实，CRAFTMaps在高阶多项式核中提供的核重构效果优于以往近似方案。