[论文解读] Generalized Min-Max Kernel and Generalized Consistent Weighted Sampling

Ping Li|arXiv (Cornell University)|Jan 1, 2016

Face and Expression Recognition参考文献 26被引用 6

一句话总结

本文提出了广义极小-极大（GMM）核，一种适用于含正负值数据的正定核，及其相关的哈希方法——广义一致加权采样（GCWS）。GCWS在使用显著更少样本的情况下，实现了与使用随机傅里叶特征（RFF）的RBF核相当或更优的分类准确率，这是由于其估计方差更低，尤其在高相似度值时表现更优。

ABSTRACT

We propose the generalized min-max (GMM) kernel as a measure of data similarity, where data vectors can have both positive and negative entries. GMM is positive definite as there is an associate hashing method named generalized consistent weighted sampling (GCWS) which linearizes this (nonlinear) kernel. A natural competitor of GMM is the radial basis function (RBF) kernel, whose corresponding hashing method is known as the Fourier (RFF). An extensive experimental study on classifications of extbf{50} publicly available datasets demonstrates that both the GMM and RBF kernels can often substantially improve over linear classifiers. Furthermore, the GCWS hashing method typically requires substantially fewer samples than RFF in order to achieve similar classification accuracies. To understand the property of random Fourier features (RFF), we derive the theoretical variance of RFF, which reveals that the variance of RFF has a term that does not vanish at any similarity. In comparison, the variance of GCWS approaches zero at certain similarities. Overall, the relative (to the expectation) variance of RFF is substantially larger than the relative variance of GCWS. This helps explain the superb empirical results of GCWS compared to RFF. We expect that GMM and GCWS will be adopted in practice for large-scale statistical machine learning applications and efficient near neighbor search (as GMM generates discrete hash values).

研究动机与目标

• 开发一种正定核GMM，以处理同时包含正负值的向量数据，扩展极小-极大核的应用范围。
• 设计一种哈希方法GCWS，对GMM核进行线性化，实现在大规模机器学习中高效计算与近邻搜索。
• 通过减少所需样本数量，在分类任务中提升RBF核的性能，同时保持准确率。
• 对随机傅里叶特征（RFF）的方差进行理论分析，并与GCWS进行比较，以解释其经验性能差异。
• 在多种数据集上，通过实证验证GCWS在样本效率和分类准确率方面相对于RFF的实用性优势。

提出的方法

• 提出广义极小-极大（GMM）核作为相似性度量，将极小-极大核推广至支持正负值向量输入。
• 通过构建相应的哈希方法——广义一致加权采样（GCWS），证明GMM核为正定核，从而实现核的线性化。
• 推导RFF的理论方差，表明其在所有相似度水平下均存在非消失项，而GCWS在特定相似度下方差趋近于零。
• 利用GCWS生成离散哈希值，实现高效近似最近邻搜索与可扩展的核近似。
• 采用一致加权采样策略，确保在高相似度值下实现低方差估计。
• 在50个公开数据集上通过大量实验对比GCWS与RFF，评估分类准确率与样本效率。

实验结果

研究问题

• RQ1 能否构建一种广义极小-极大核，使其支持含正负值的向量数据，同时保持正定性？
• RQ2 GCWS的方差行为与RFF相比如何，特别是在高相似度值下？
• RQ3 GCWS是否能在显著更少样本下实现与RFF相当或更优的分类准确率？
• RQ4 GCWS在方差特性上的理论根源是什么，从而解释其相对于RFF的优越经验性能？
• RQ5 由于其输出为离散哈希值，GCWS是否可有效用于大规模机器学习与高效近邻搜索？

主要发现

• GMM核为正定核，并存在对应的哈希方法GCWS，可实现核的线性化与高效计算。
• GCWS在分类准确率上与使用随机傅里叶特征（RFF）的RBF核相当，但所需样本量显著更少。
• RFF的理论方差在任何相似度水平下均不消失，而GCWS的方差在特定相似度下趋近于零，从而导致更低的估计误差。
• RFF的相对方差显著高于GCWS，这解释了GCWS在经验性能上的优越性。
• 在50个公开可用数据集上，GMM与RBF核在分类任务中均显著优于线性分类器。
• GCWS生成的离散哈希值使其适用于大规模应用中的高效近似最近邻搜索。