[论文解读] Compact Nonlinear Maps and Circulant Extensions

Felix X. Yu, Sanjiv Kumar+2 more|arXiv (Cornell University)|Mar 12, 2015

Advanced Optimization Algorithms Research参考文献 52被引用 38

一句话总结

该论文提出了一种紧凑非线性映射（CNM），通过联合优化非线性特征映射与分类损失，实现了显著降低映射维度下的最先进性能。通过端到端训练学习映射参数，并使用循环结构投影矩阵，该方法将计算和内存成本分别从 O(kd) 降低至 O(k log d) 和 O(k)，同时在准确率上保持或优于随机特征映射。

ABSTRACT

Kernel approximation via nonlinear random feature maps is widely used in speeding up kernel machines. There are two main challenges for the conventional kernel approximation methods. First, before performing kernel approximation, a good kernel has to be chosen. Picking a good kernel is a very challenging problem in itself. Second, high-dimensional maps are often required in order to achieve good performance. This leads to high computational cost in both generating the nonlinear maps, and in the subsequent learning and prediction process. In this work, we propose to optimize the nonlinear maps directly with respect to the classification objective in a data-dependent fashion. The proposed approach achieves kernel approximation and kernel learning in a joint framework. This leads to much more compact maps without hurting the performance. As a by-product, the same framework can also be used to achieve more compact kernel maps to approximate a known kernel. We also introduce Circulant Nonlinear Maps, which uses a circulant-structured projection matrix to speed up the nonlinear maps for high-dimensional data.

研究动机与目标

• 解决依赖随机特征映射的传统核近似方法存在的高计算成本与可扩展性差的问题。
• 通过联合学习最优非线性映射与分类器参数，消除手动选择核函数的需要。
• 在不牺牲分类性能的前提下，降低非线性特征映射的维度。
• 通过引入循环结构投影矩阵，提升高维数据下的效率。
• 提供一种可扩展、数据相关的随机特征映射替代方案，实现紧凑且高性能的核近似。

提出的方法

• 提出一种联合优化框架，直接从训练数据中学习非线性特征映射，以分类损失作为目标函数。
• 以随机傅里叶特征框架为基础，但将随机参数生成替换为映射参数的端到端学习。
• 提出循环非线性映射（CNM），利用循环矩阵通过基于FFT的运算降低计算与内存成本。
• 采用交替最小化策略，同时优化分类器权重与循环投影矩阵参数。
• 利用循环卷积性质推导循环矩阵参数的梯度，实现 O(d log d) 的梯度计算效率。
• 在特征映射中采用余弦非线性：Z(x) = cos(Rx)，其中 R 为学习得到的循环矩阵。

实验结果

研究问题

• RQ1 能否通过端到端学习非线性特征映射，实现比随机特征映射更优的紧凑性与性能？
• RQ2 能否通过联合优化特征映射与分类器参数，消除手动选择核函数的需要？
• RQ3 使用循环结构投影矩阵如何影响非线性映射的效率与性能？
• RQ4 所提出的方法能否在显著降低计算与内存成本的前提下，实现与随机傅里叶特征相当或更优的准确率？
• RQ5 该框架在已知核函数的紧凑核近似中，可扩展到何种程度？

主要发现

• 在 USPS (d) 上，优化后的 CNM 仅使用 k=1000 个维度即达到 91.96% 的准确率，优于随机傅里叶特征（89.05%）和循环-随机映射（89.40%）。
• 在 MNIST (d) 上，优化后的 CNM 达到 92.73% 的准确率，超过随机傅里叶特征（91.33%）和循环-随机映射（91.01%）。
• 在 CIFAR (d) 上，优化后的 CNM 达到 71.17% 的准确率，显著优于循环-随机映射（65.21%），并以更低的成本达到与随机傅里叶特征（69.14%）相当的性能。
• 循环结构将计算复杂度从 O(kd) 降低至 O(k log d)，内存使用从 O(kd) 降低至 O(k)，从而实现对高维数据的可扩展性。
• 循环优化映射与随机傅里叶特征的均方误差（MSE）几乎完全一致，证实了其强大的核近似质量。
• 该框架实现了核近似的联合学习，通过数据相关的映射学习，有效为分类任务发现最优核函数。