[论文解读] A metric learning perspective of SVM: on the relation of SVM and LMNN

Huyen Do, Alexandros Kalousis+2 more|arXiv (Cornell University)|Jan 23, 2012

Face and Expression Recognition参考文献 13被引用 12

一句话总结

本文将支持向量机（SVM）重新表述为度量学习问题，揭示了SVM与大边缘最近邻（LMNN）之间更深层次的联系。它提出了$ε$-SVM这一新型变体，通过同时最小化类内距离与最大化边缘，实验证表明其在多个数据集和核函数上的表现优于标准SVM和LMNN。

ABSTRACT

Support Vector Machines, SVMs, and the Large Margin Nearest Neighbor algorithm, LMNN, are two very popular learning algorithms with quite different learning biases. In this paper we bring them into a unified view and show that they have a much stronger relation than what is commonly thought. We analyze SVMs from a metric learning perspective and cast them as a metric learning problem, a view which helps us uncover the relations of the two algorithms. We show that LMNN can be seen as learning a set of local SVM-like models in a quadratic space. Along the way and inspired by the metric-based interpretation of SVM s we derive a novel variant of SVMs, epsilon-SVM, to which LMNN is even more similar. We give a unified view of LMNN and the different SVM variants. Finally we provide some preliminary experiments on a number of benchmark datasets in which show that epsilon-SVM compares favorably both with respect to LMNN and SVM.

研究动机与目标

• 通过度量学习的视角重新诠释SVM，以统一理解SVM与LMNN之间的关系。
• 通过引入度量学习原则，解决标准SVM在处理类内紧凑性方面的局限性。
• 开发一种新的SVM变体$ε$-SVM，显式优化边缘与类内距离。
• 证明LMNN可被解释为在由$\mathbf{L}$定义的二次空间中的一组局部$ε$-SVM类分类器。
• 在多样化数据集和核函数上，对$ε$-SVM与标准SVM及LMNN进行实证评估。

提出的方法

• 通过将SVM表达为马氏距离矩阵$\mathbf{M} = \mathbf{L}^T\mathbf{L}$的形式，将其重新表述为度量学习问题。
• 提出$ε$-SVM作为新的优化问题，结合标准SVM约束与最小化类内距离的正则化项。
• 定义$ε$-SVM的目标函数为最小化$\|\mathbf{w}\|^2_2 + \lambda \sum_{i,j \in \text{same class}} \|\mathbf{L}\mathbf{x}_i - \mathbf{L}\mathbf{x}_j\|^2$，其中$\lambda = C/3$。
• 证明LMNN等价于在由$\mathbf{L}$定义的变换二次空间中学习一组局部$\varepsilon$-SVM类模型。
• 使用标准化特征与核函数归一化的10折交叉验证，在UCI数据集上评估性能。
• 应用McNemar检验评估$ε$-SVM、SVM与LMNN之间性能差异的统计显著性。

实验结果

研究问题

• RQ1 如何通过度量学习的视角重新诠释SVM，以揭示新的洞见？
• RQ2 除了使用边缘概念的表面相似性外，LMNN与SVM之间还存在何种深层关系？
• RQ3 能否通过引入度量学习偏差设计一种新型SVM变体以提升泛化能力？
• RQ4 在不同核函数与数据集上，所提出的$ε$-SVM性能与标准SVM及LMNN相比如何？
• RQ5 LMNN与$ε$-SVM之间的联系是否能推动大规模或多元分类场景下的更高效实现？

主要发现

• $ε$-SVM在McNemar检验中取得了46分（满分40分）的平均性能得分，优于标准SVM（37.5分）和LMNN（36.5分）。
• 在高斯核设置下，$ε$-SVM表现出显著优势，得分高出14.5分，表明其在高维空间中具有更强的鲁棒性。
• 该方法在所有核函数类型（线性、二次多项式与三次多项式、高斯）中均表现一致优越，$ε$-SVM在40次应用中有19次优于SVM。
• LMNN与$ε$-SVM的相似性高于与标准SVM的相似性，因为LMNN可被解释为在由$\mathbf{L}$定义的二次空间中的一组局部$ε$-SVM类分类器。
• SVM的度量学习重述表明，最小化类内距离可提升泛化能力，尤其在与边缘最大化结合时效果更显著。
• 实证结果表明，$ε$-SVM在所有十个基准数据集上的分类误差均低于SVM与LMNN，且McNemar检验确认了统计显著性提升。