[论文解读] Min-Max Kernels.

Ping Li|arXiv (Cornell University)|Mar 5, 2015

Face and Expression Recognition参考文献 23被引用 3

一句话总结

本文提出了一种基于新颖0比特哈希方案的最小-最大核线性化方法，使基于SVM和逻辑回归等线性模型的高效大规模分类成为可能。该方法在保持关键相似性信息的同时，舍弃了一致加权采样（CWS）中理论上无界的$t^*$分量，从而在多种非负数据集上实现了具有竞争力的性能。

ABSTRACT

The min-max kernel is a generalization of the popular resemblance kernel (which is designed for binary data). In this paper, we demonstrate, through an extensive classification study using kernel machines, that the min-max kernel often provides an effective measure of similarity for nonnegative data. As the min-max kernel is nonlinear and might be difficult to be used for industrial applications with massive data, we show that the min-max kernel can be linearized via hashing techniques. This allows practitioners to apply min-max kernel to large-scale applications using well matured linear algorithms such as linear SVM or logistic regression. The previous remarkable work on consistent weighted sampling (CWS) produces samples in the form of ($i^*, t^*$) where the $i^*$ records the location (and in fact also the weights) information analogous to the samples produced by classical minwise hashing on binary data. Because the $t^*$ is theoretically unbounded, it was not immediately clear how to effectively implement CWS for building large-scale linear classifiers. In this paper, we provide a simple solution by discarding $t^*$ (which we refer to as the scheme). Via an extensive empirical study, we show that this 0-bit scheme does not lose essential information. We then apply the CWS for building linear classifiers to approximate min-max kernel classifiers, as extensively validated on a wide range of publicly available classification datasets. We expect this work will generate interests among data mining practitioners who would like to efficiently utilize the nonlinear information of non-binary and nonnegative data.

研究动机与目标

• 为解决将非线性最小-最大核应用于大规模工业应用中海量非负数据的挑战。
• 克服在大规模线性分类器中处理一致加权采样（CWS）中无界$t^*$分量的不切实际性。
• 开发一种实用的基于哈希的最小-最大核线性化方法，保留非线性相似性信息，同时无需存储$t^*$。
• 验证所提出的0比特方案在使用标准线性算法近似最小-最大核分类器方面的有效性。
• 使数据挖掘从业者能够在可扩展环境中高效利用非二值、非负数据的非线性相似性。

提出的方法

• 将一致加权采样（CWS）适配于非负数据，生成形式为($i^*$, $t^*$)的样本，类似于二值数据的minwise哈希。
• 提出一种0比特方案，舍弃理论上无界的$t^*$分量，该分量在大规模部署中不切实际。
• 仅使用索引$i^*$（位置和权重信息）表示样本，有效降低存储和计算开销。
• 将生成的哈希向量用于训练线性分类器（如线性SVM和逻辑回归），作为最小-最大核分类器的近似。
• 通过保留关键相似性结构的线性化表示，利用最小-最大核的非线性特性。
• 通过在多样化公开分类数据集上使用标准机器学习流程进行广泛实证评估，验证该方法。

实验结果

研究问题

• RQ1 能否在不显著损失相似性信息的前提下，有效对最小-最大核进行大规模应用线性化？
• RQ2 在非负数据上构建高精度线性分类器时，舍弃一致加权采样中的$t^*$分量是否可行？
• RQ3 0比特哈希方案在实践中对全最小-最大核分类器性能的近似程度如何？
• RQ4 在非负数据上，基于所提哈希表示训练的线性模型能否实现与核方法相当的准确率？
• RQ5 在大规模环境中，与直接计算最小-最大核相比，0比特方案在可扩展性和效率方面有何提升？

主要发现

• 舍弃无界$t^*$的0比特方案保留了关键相似性信息，实现了有效的线性分类。
• 基于所提哈希表示训练的线性分类器在广泛非负数据集上实现了与全最小-最大核分类器相当的性能。
• 该方法通过利用成熟的线性算法，实现了最小-最大核相似性在工业应用中的可扩展部署。
• 实证评估证实，线性化方法在显著降低存储和计算成本的同时，仍保持了高准确率。
• 该方法在多样化公开数据集上表现稳健，展示了超越特定数据类型或领域的泛化能力。
• 结果表明，通过线性化，最小-最大核的非线性相似性可在大规模环境中高效利用，且性能下降可忽略。