[论文解读] Fast Learning in Reproducing Kernel Krein Spaces via Signed Measures

Fanghui Liu, Xiaolin Huang+2 more|arXiv (Cornell University)|May 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 63被引用 5

一句话总结

该论文通过引入符号测度框架，解决了机器学习领域长期存在的开放性问题：非正定核（non-PD核）是否可分解为两个正定核的差。利用测度分解，作者提出了此类正分解的充分必要条件，从而实现了首个针对不定核的无偏随机特征算法，该算法在大规模数据集上具有高效可扩展性，并在分类准确率上优于现有方法。

ABSTRACT

In this paper, we attempt to solve a long-lasting open question for non-positive definite (non-PD) kernels in machine learning community: can a given non-PD kernel be decomposed into the difference of two PD kernels (termed as positive decomposition)? We cast this question as a distribution view by introducing the \emph{signed measure}, which transforms positive decomposition to measure decomposition: a series of non-PD kernels can be associated with the linear combination of specific finite Borel measures. In this manner, our distribution-based framework provides a sufficient and necessary condition to answer this open question. Specifically, this solution is also computationally implementable in practice to scale non-PD kernels in large sample cases, which allows us to devise the first random features algorithm to obtain an unbiased estimator. Experimental results on several benchmark datasets verify the effectiveness of our algorithm over the existing methods.

研究动机与目标

• 解决机器学习领域长期存在的开放性问题：给定的不定核（非正定核）是否可分解为两个正定核的差。
• 开发一种计算高效且可扩展的方法，用于大规模学习场景中近似非正定核。
• 提供一个理论基础坚实、基于分布的框架，将正分解问题转化为测度分解问题。
• 设计首个针对不定核的无偏随机特征算法，确保在核近似中实现一致且无偏的估计。
• 通过线性SVM分类在基准数据集上验证所提方法的有效性。

提出的方法

• 引入符号测度的概念以推广Borel测度，允许负权重，并利用此方法将正分解问题重新表述为测度分解问题。
• 建立非正定核可通过符号测度表示实现正分解的充分必要条件。
• 基于测度分解推导出一种随机特征映射，实现对核近似的无偏估计。
• 应用拒绝采样和重要性采样技术，从与球多项式及其他径向核相关的复杂、非标准测度中进行采样。
• 采用正交蒙特卡罗采样以提高近似精度，同时保持计算可行性。
• 将随机特征映射作为输入输入至线性SVM分类器，并通过5折交叉验证进行超参数调优。

实验结果

研究问题

• RQ1 是否每个不定核都可分解为两个正定核的差？若可，其条件是什么？
• RQ2 是否能够基于分布框架，为非正定核构造无偏的随机特征近似？
• RQ3 所提方法如何在保持高近似精度的同时，高效扩展至大规模数据集？
• RQ4 所提算法在具有不定核的基准数据集上的性能与现有方法相比如何？
• RQ5 不同的采样策略（如重要性采样、正交蒙特卡罗采样）如何影响近似误差与计算成本？

主要发现

• 所提出的符号测度框架为不定核的正分解提供了充分必要条件，填补了核学习中长期存在的理论空白。
• 该方法实现了首个针对非正定核的无偏随机特征近似，确保了核近似中的一致无偏估计。
• 在letter数据集上，所提方法在不同多项式核阶数（p=1, p=3）下均实现了低于基线方法的近似误差，其中正交蒙特卡罗采样误差最低，但计算成本略高。
• 在cod-RNA数据集上，所有方法在不同特征维度下表现相近，但所提方法在其他数据集上保持了更强的性能，尤其在高维特征映射下表现更优。
• 生成随机化特征映射的计算成本为O(ns²)时间与O(ns)内存，与标准RFF一致，仅因虚部引入了轻微额外开销。
• 重要性采样在仅损失少量近似性能的前提下显著降低了时间成本，且当与岭杠杆度数结合时，其效果与基于杠杆度数的采样方法一致。