[论文解读] CoRE Kernels

Ping Li|arXiv (Cornell University)|Apr 24, 2014

Advanced Image and Video Retrieval Techniques参考文献 26被引用 4

一句话总结

本文提出了CoRE核，这是一种新型的非线性相关性-相似性核，专为高维、稀疏、非二值数据（如视觉应用中的数据）而设计。通过利用概率哈希将非线性核转换为线性核，该方法实现了无需调参的核SVM高效训练，显著提升了大规模工业应用中的可扩展性。

ABSTRACT

The term stands for correlation-resemblance kernel. In many applications (e.g., vision), the data are often high-dimensional, sparse, and non-binary. We propose two types of (nonlinear) CoRE kernels for non-binary sparse data and demonstrate the effectiveness of the new kernels through a classification experiment. CoRE kernels are simple with no tuning parameters. However, training nonlinear kernel SVM can be (very) costly in time and memory and may not be suitable for truly large-scale industrial applications (e.g. search). In order to make the proposed CoRE kernels more practical, we develop basic probabilistic hashing algorithms which transform nonlinear kernels into linear kernels.

研究动机与目标

• 解决在视觉和工业应用中常见的高维、稀疏、非二值数据上应用非线性核方法的挑战。
• 开发一种无需超参数调优但保持高分类准确率的核方法。
• 通过概率哈希将非线性核转换为线性等价形式，提升核SVM的可扩展性。
• 实现在训练成本和内存使用量极高的大规模系统中核方法的实际部署。

提出的方法

• 基于相关性和相似性度量，提出两种适用于非二值稀疏数据的非线性CoRE核。
• 采用概率哈希将非线性核函数近似为线性投影，降低计算复杂度。
• 使用具有特定哈希方案的随机投影，以在变换空间中保持核相似性。
• 将所得线性核应用于标准核SVM训练，实现高效优化。
• 设计哈希过程以保持原始非线性核的判别能力。

实验结果

研究问题

• RQ1 能否构建一种非线性核，有效建模稀疏、非二值数据中的相关性和相似性，且无需调参？
• RQ2 如何使非线性核方法在大规模工业应用（如搜索系统）中具备可扩展性？
• RQ3 概率哈希在将非线性核转换为线性形式时，能在多大程度上保持其性能？
• RQ4 所提出方法是否在大幅降低训练时间和内存使用量的同时，仍能保持高分类准确率？

主要发现

• CoRE核在无需任何超参数调优的情况下，对稀疏、非二值数据实现了高分类准确率。
• 概率哈希成功地将非线性CoRE核转换为线性等价形式，从而实现高效的核SVM训练。
• 与标准非线性核SVM相比，该方法显著降低了训练时间和内存消耗。
• 该方法在大规模工业应用（如网络规模搜索系统）中具备可扩展性和实用性。