[论文解读] Gaussian Quadrature for Kernel Features

Tri Dao, Christopher De+1 more|arXiv (Cornell University)|Sep 8, 2017

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 13

一句话总结

该论文通过高斯求积法确定性地近似核函数的傅里叶变换，提出用于核方法的确定性特征映射，以比随机傅里叶特征更少的样本实现指数级小的近似误差。对于稀疏 ANOVA 核函数，其样本复杂度从 O(d³) 降低至 O(d)，在 MNIST 和 TIMIT 数据集上实现了更快的特征生成速度和相当或更优的准确率。

ABSTRACT

Kernel methods have recently attracted resurgent interest, showing performance competitive with deep neural networks in tasks such as speech recognition. The random Fourier features map is a technique commonly used to scale up kernel machines, but employing the randomized feature map means that $O(ε^{-2})$ samples are required to achieve an approximation error of at most $ε$. We investigate some alternative schemes for constructing feature maps that are deterministic, rather than random, by approximating the kernel in the frequency domain using Gaussian quadrature. We show that deterministic feature maps can be constructed, for any $γ> 0$, to achieve error $ε$ with $O(e^{e^γ} + ε^{-1/γ})$ samples as $ε$ goes to 0. Our method works particularly well with sparse ANOVA kernels, which are inspired by the convolutional layer of CNNs. We validate our methods on datasets in different domains, such as MNIST and TIMIT, showing that deterministic features are faster to generate and achieve accuracy comparable to the state-of-the-art kernel methods based on random Fourier features.

研究动机与目标

• 探究在核机器中近似核函数时随机性是否为必要条件。
• 开发出在近似误差 ε 上具有更优扩展性的确定性特征映射，优于随机傅里叶特征。
• 提升稀疏 ANOVA 核函数的效率与准确率，因其结构类似于卷积神经网络层。
• 在真实世界数据集（如 MNIST 和 TIMIT）上实验验证该方法。
• 证明基于确定性求积的特征可达到或超越当前最先进的随机傅里叶特征方法的性能。

提出的方法

• 使用高斯求积法确定性地近似核函数的傅里叶变换积分，以结构化的节点和权重替代蒙特卡洛采样。
• 通过在频域中选择求积节点和权重来构建特征映射，以最小化近似误差。
• 应用多项式精确求积、密集网格、稀疏网格和重加权网格构造方法，生成确定性特征。
• 对于稀疏 ANOVA 核函数，利用其结构将所需样本数从 O(d³) 降低至 O(d)。
• 采用重加权技术提升子采样网格下的准确性，增强在大规模数据集上的性能。
• 将确定性特征生成与线性分类器结合，实现在无需显式构建完整 Gram 矩阵的前提下可扩展的核学习。

实验结果

研究问题

• RQ1 确定性特征映射能否在核方法中实现优于随机傅里叶特征的近似误差扩展性？
• RQ2 对于稀疏 ANOVA 核函数，确定性求积的样本复杂度与随机采样相比如何？
• RQ3 在特征生成速度和分类准确率方面，确定性特征映射能否超越随机傅里叶特征？
• RQ4 结构化核函数（如稀疏 ANOVA）在多大程度上能从基于确定性求积的特征映射中受益？
• RQ5 确定性特征生成是否能消除随机傅里叶特征固有的概率误差保证需求？

主要发现

• 对于任意 γ > 0，当 ε → 0 时，该方法以 O(e^{e^{γ}} + ε^{-1/γ}) 个样本实现 ε-近似误差，其扩展性优于随机傅里叶特征。
• 在稀疏 ANOVA 核函数上，确定性映射仅需 O(d) 个样本，而随机傅里叶特征需 O(d³) 个样本，显著提升效率。
• 在 MNIST 上，基于确定性求积的特征映射实现了与随机傅里叶特征相当的测试准确率，且在使用重加权网格时，核近似误差降低最多达 3 倍。
• 在 TIMIT 上，重加权求积特征实现了略低于随机傅里叶特征的音素错误率，且特征生成速度提升两倍。
• 该方法在保持或提升分类准确率的同时，将核近似误差相比随机傅里叶特征降低了最多 3 倍。
• 由于乘法运算更少，确定性特征映射的生成速度约为随机傅里叶特征的两倍，且不损失模型性能。