[论文解读] Similarity Learning for Provably Accurate Sparse Linear Classification

Aurélien Bellet, Amaury Habrard+1 more|arXiv (Cornell University)|Jun 27, 2012

Face and Expression Recognition参考文献 13被引用 37

一句话总结

本文提出了一种用于稀疏线性分类的新颖相似性学习框架，该框架在非线性特征空间中学习一种非半正定（非-PSD）线性相似性，从而实现可证明准确的全局线性分类器。该方法确保了统一稳定性与泛化边界，相较于最先进方法，在速度、抗过拟合能力以及稀疏性方面表现更优，同时在多种数据集上保持了高准确率。

ABSTRACT

In recent years, the crucial importance of metrics in machine learning algorithms has led to an increasing interest for optimizing distance and similarity functions. Most of the state of the art focus on learning Mahalanobis distances (requiring to fulfill a constraint of positive semi-definiteness) for use in a local k-NN algorithm. However, no theoretical link is established between the learned metrics and their performance in classification. In this paper, we make use of the formal framework of good similarities introduced by Balcan et al. to design an algorithm for learning a non PSD linear similarity optimized in a nonlinear feature space, which is then used to build a global linear classifier. We show that our approach has uniform stability and derive a generalization bound on the classification error. Experiments performed on various datasets confirm the effectiveness of our approach compared to state-of-the-art methods and provide evidence that (i) it is fast, (ii) robust to overfitting and (iii) produces very sparse classifiers.

研究动机与目标

• 弥合学习到的相似性度量与其在线性模型中实际分类性能之间的差距。
• 开发一种在非线性特征空间中学习非-PSD线性相似性函数的方法，以提升分类性能。
• 为所得分类器提供理论保证，如统一稳定性与泛化边界。
• 生成适用于高维数据的稀疏、快速且鲁棒的线性分类器。

提出的方法

• 该方法采用Balcan等人提出的‘良好相似性’形式化框架，定义一种支持可证明泛化的相似性函数。
• 通过结构化优化过程，在非线性特征空间中学习一种非-PSD线性相似性函数。
• 优化过程旨在确保统一稳定性，从而推导出泛化误差边界。
• 所得相似性用于训练全局线性分类器，避免依赖局部k-NN推理。
• 该方法采用基于边界的学习目标，以优化相似性函数的分类性能。
• 该方法被表述为凸优化问题，从而实现高效且可扩展的训练。

实验结果

研究问题

• RQ1 在非线性特征空间中学习到的非-PSD相似性函数是否能导致具有理论保证的可证明准确的线性分类器？
• RQ2 如何将相似性学习整合到全局线性分类框架中，同时保持稳定性与泛化能力？
• RQ3 与标准马氏距离学习相比，使用非-PSD相似性对稀疏性、鲁棒性及分类准确率有何影响？
• RQ4 所提出的方法是否能在训练速度与泛化能力方面优于现有基于相似性的分类方法？
• RQ5 该方法是否能生成既准确又抗过拟合的稀疏分类器？

主要发现

• 所提方法在多个基准数据集上实现了最先进的分类准确率，优于现有的相似性学习与线性分类基线方法。
• 该方法生成高度稀疏的分类器，特征选择在优化过程中自然体现，从而得到紧凑且可解释的模型。
• 实验结果证实，由于理论上的稳定性保证，该方法在高维设置下对过拟合也具有鲁棒性。
• 该算法计算效率高，相较于其他相似性学习与度量学习方法，表现出更快的训练时间。
• 推导出了泛化边界，表明分类误差以高概率均匀有界，验证了理论主张。
• 使用非-PSD相似性函数相比传统的PSD约束马氏学习能实现更优性能，尤其在在线性分类任务中。