[论文解读] A Summary Of The Kernel Matrix, And How To Learn It Effectively Using Semidefinite Programming

Amir-Hossein Karimi|arXiv (Cornell University)|Sep 18, 2017

Face and Expression Recognition参考文献 8被引用 4

一句话总结

本文提出了一种基于半定规划（SDP）的方法，直接从数据中学习核矩阵，用于归纳支持向量机（SVMs），实现核矩阵与2-范数软间隔参数 $\tau = 1/C$ 的联合优化。该方法具有多项式时间复杂度，并在数值稳定性与性能方面优于传统方法。

ABSTRACT

Kernel-based learning algorithms are widely used in machine learning for problems that make use of the similarity between object pairs. Such algorithms first embed all data points into an alternative space, where the inner product between object pairs specifies their distance in the embedding space. Applying kernel methods to partially labeled datasets is a classical challenge in this regard, requiring that the distances between unlabeled pairs must somehow be learnt using the labeled data. In this independent study, I will summarize the work of G. Lanckriet et al.'s work on "Learning the Kernel Matrix with Semidefinite Programming" used in support vector machines (SVM) algorithms for the transduction problem. Throughout the report, I have provide alternative explanations / derivations / analysis related to this work which is designed to ease the understanding of the original article.

研究动机与目标

• 解决在部分标记数据集中学习最优核矩阵以实现归纳的问题。
• 开发一种多项式时间算法用于核矩阵学习，避免测试样本数量的指数级增长。
• 利用半定规划联合优化核矩阵与2-范数软间隔参数 $\tau = 1/C$。
• 通过学习基核矩阵的正线性组合，提升数值稳定性与分类性能。
• 解决在2-范数软间隔SVM中自动调节 $\tau = 1/C$ 参数的开放问题。

提出的方法

• 将核矩阵学习问题表述为带约束的半定规划（SDP），以确保半正定性与迹归一化。
• 推导出SVM目标函数的广义对偶形式，统一处理硬间隔、1-范数与2-范数软间隔情形。
• 将核矩阵作为SDP中的变量，允许在核族 $\mathcal{K} = \{ \sum_{i=1}^m \mu_i K_i \mid \mu_i \geq 0 \}$ 上进行优化。
• 提出一种联合原始-对偶优化框架，通过单个SDP求解器最小化对偶间隙，复杂度为 $O((m + n_{tr})^2 n^{2.5})$。
• 将SDP框架应用于同时学习核矩阵与参数 $\tau = 1/C$，实现超参数的自动调节。
• 利用Schur补变换将对偶问题重述为标准SDP形式，确保凸性与可计算性。

实验结果

研究问题

• RQ1 能否通过半定规划直接从数据中学习核矩阵，以提升归纳性能？
• RQ2 如何在核学习框架内自动调节2-范数软间隔参数 $\tau = 1/C$？
• RQ3 在正线性组合的基核族上学习核矩阵的计算复杂度是多少？
• RQ4 原始与对偶变量的联合优化能否减小对偶间隙并提升收敛性？
• RQ5 学习结构化的核矩阵如何提升数值稳定性与泛化性能，相较于固定核选择？

主要发现

• 所提出的基于SDP的方法在测试样本数量上具有多项式时间复杂度，而Vapnik原始的归纳方法则呈指数级增长。
• 核矩阵与 $\tau = 1/C$ 的联合优化实现了软间隔参数的自动调节，解决了该论文发表时的开放问题。
• 学习基核矩阵的正线性组合（$K = \sum \mu_i K_i$）提升了数值稳定性，并将计算复杂度降低至 $O(m n_{tr}^3)$。
• 通过联合原始-对偶优化，该方法实现了对偶间隙的减小，收敛复杂度为 $O((m + n_{tr})^2 n^{2.5})$。
• SDP公式确保所学习的核矩阵保持半正定性，从而保留特征空间的几何结构。
• 该框架通过将硬间隔、1-范数与2-范数软间隔SVM的对偶目标统一为单一广义性能度量，实现了对这三类SVM的泛化。