[论文解读] Linearized GMM Kernels and Normalized Random Fourier Features

Ping Li|arXiv (Cornell University)|May 18, 2016

Face and Expression Recognition被引用 6

一句话总结

本文提出归一化随机傅里叶特征（NRFF）以降低RBF核近似中的方差，并提出广义极小-极大（GMM）核结合广义一致加权采样（GCWS），实现高效、低方差的核线性化。GCWS在分类准确率上持续优于NRFF，且所需样本数显著更少，因此在大规模学习中更具实用性，可显著降低训练、存储和传输成本。

ABSTRACT

The method of "random Fourier features (RFF)" has become a popular tool for approximating the "radial basis function (RBF)" kernel. The variance of RFF is actually large. Interestingly, the variance can be substantially reduced by a simple normalization step as we theoretically demonstrate. We name the improved scheme as the "normalized RFF (NRFF)". We also propose the "generalized min-max (GMM)" kernel as a measure of data similarity. GMM is positive definite as there is an associated hashing method named "generalized consistent weighted sampling (GCWS)" which linearizes this nonlinear kernel. We provide an extensive empirical evaluation of the RBF kernel and the GMM kernel on more than 50 publicly available datasets. For a majority of the datasets, the (tuning-free) GMM kernel outperforms the best-tuned RBF kernel. We conduct extensive experiments for comparing the linearized RBF kernel using NRFF with the linearized GMM kernel using GCWS. We observe that, to reach a comparable classification accuracy, GCWS typically requires substantially fewer samples than NRFF, even on datasets where the original RBF kernel outperforms the original GMM kernel. The empirical success of GCWS (compared to NRFF) can also be explained from a theoretical perspective. Firstly, the relative variance (normalized by the squared expectation) of GCWS is substantially smaller than that of NRFF, except for the very high similarity region (where the variances of both methods are close to zero). Secondly, if we make a model assumption on the data, we can show analytically that GCWS exhibits much smaller variance than NRFF for estimating the same object (e.g., the RBF kernel), except for the very high similarity region.

研究动机与目标

• 降低标准随机傅里叶特征（RFF）在近似RBF核时固有的高方差。
• 提出一种新的相似性度量——广义极小-极大（GMM）核，能够有效捕捉数据的非线性特性，并支持正负数值。
• 开发一种哈希方法——广义一致加权采样（GCWS），以低估计方差实现GMM核的线性化。
• 从样本效率和准确率角度，对GCWS与NRFF进行理论和实证比较，适用于大规模学习。
• 证明GCWS在实现更优性能时所需样本数少于NRFF，从而显著降低计算和存储成本。

提出的方法

• 通过在标准RFF上增加归一化步骤，提出归一化随机傅里叶特征（NRFF），以降低RBF核近似中的方差。
• 提出广义极小-极大（GMM）核，通过基于符号的分割将数据转换为非负向量，并将相似性计算为变换后维度上最小值之和与最大值之和的比值。
• 开发广义一致加权采样（GCWS）作为哈希方法，以实现GMM核的线性化，通过加权采样变换后数据生成离散哈希值。
• 通过理论分析表明，GCWS的相对方差显著低于NRFF，仅在高相似度区域两者方差均趋近于零。
• 采用温和的模型假设，通过解析方法证明GCWS在估计相同核对象时方差远小于NRFF。
• 通过在50多个公开数据集上使用线性分类器（如LIBLINEAR）的大量实验验证性能，比较GCWS与NRFF在相同条件下的表现。

实验结果

研究问题

• RQ1 简单的归一化步骤是否能显著降低随机傅里叶特征在RBF核近似中的方差？
• RQ2 广义极小-极大（GMM）核（可处理正负数据）是否比RBF核提供更有效的相似性度量？
• RQ3 GCWS是否能以远低于NRFF的估计方差实现GMM核的线性化？
• RQ4 GCWS实现与NRFF相同分类准确率所需样本量在真实世界数据集中如何比较？
• RQ5 GCWS的理论方差优势是否能在多样化的数据集中得到实证验证？

主要发现

• NRFF在理论上被证明并经模拟验证，相比标准RFF能有效降低RBF核近似的方差。
• 在测试的50多个数据集中的大多数中，（无需调参的）GMM核在分类准确率上优于经过最优调优的RBF核。
• 无论原始RBF核是否优于原始GMM核，GCWS始终以远少于NRFF的样本数即可达到相近的分类准确率。
• 训练、存储和传输成本与每个数据向量的非零元素数量成正比；GCWS在更低样本数下实现更高准确率，显著降低这些成本。
• 在大多数相似度区域，GCWS的相对方差远低于NRFF，这解释了其优越的实证性能。
• 由于生成离散哈希值，GCWS天然适用于高效的近邻搜索，而NRFF或基于Nyström的方法不具备此优势。