[论文解读] Learning Discriminative Metrics via Generative Models and Kernel Learning

Yuan Shi, Yung‐Kyun Noh+2 more|arXiv (Cornell University)|Sep 19, 2011

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 3

一句话总结

本文提出了一种统一框架，将生成式局部度量与判别式核学习相结合，以提升分类任务中的度量学习性能。通过使用参数化生成模型学习局部度量，并利用线性或非线性核学习方法进行组合，该方法在显著提升性能的同时，将训练时间减少了数个数量级。

ABSTRACT

Metrics specifying distances between data points can be learned in a discriminative manner or from generative models. In this paper, we show how to unify generative and discriminative learning of metrics via a kernel learning framework. Specifically, we learn local metrics optimized from parametric generative models. These are then used as base kernels to construct a global kernel that minimizes a discriminative training criterion. We consider both linear and nonlinear combinations of local metric kernels. Our empirical results show that these combinations significantly improve performance on classification tasks. The proposed learning algorithm is also very efficient, achieving order of magnitude speedup in training time compared to previous discriminative baseline methods.

研究动机与目标

• 通过统一生成式与判别式方法，解决纯判别式或纯生成式度量学习的局限性。
• 通过在全局判别式框架中利用局部度量作为基础核，降低度量学习中的计算成本。
• 通过核学习有效结合局部度量，提升分类性能。
• 与现有判别式基线方法相比，实现显著的训练速度提升。

提出的方法

• 使用拟合到数据的参数化生成模型学习局部度量，以最小化最近邻分类中的偏差。
• 将这些局部度量作为基础核，应用于全局核学习框架中。
• 通过线性或非线性组合基础核构建全局核，并使用判别准则进行优化。
• 应用SimpleMKL算法学习基础核的最优组合权重。
• 使用区域度量（在数据划分上取平均）以提升泛化能力并减少计算开销。
• 通过迭代推断标签并使用类似EM的算法更新度量，将该框架扩展至无监督学习。

实验结果

研究问题

• RQ1 在判别式核学习框架中，能否有效结合生成式局部度量以提升分类性能？
• RQ2 在准确率与效率方面，局部度量的线性与非线性组合方式有何差异？
• RQ3 所提出的方法是否能相对于现有判别式度量学习基线实现显著的速度提升？
• RQ4 该方法在聚类与降维等无监督学习任务中的泛化能力如何？
• RQ5 不同的划分策略（例如，P=1,5,10）对非线性度量组合性能有何影响？

主要发现

• 在3-Normal数据集上，生成式局部度量的非线性组合将误分类误差降低至2.31%，显著优于基线方法（6.08%）。
• 在Iris数据集上，所提方法将误差降低至2.78%，而基线方法为5.56%，表现出显著改进。
• 与先前的判别式基线方法相比，该方法在训练时间上实现了高达一个数量级的加速。
• 在Isomap中使用全局度量M^UNI后，流形嵌入质量得到提升，MNIST数据集中数字类别的聚类更加清晰。
• 在7个小型数据集中的5个上，该方法优于基线，尤其在3-Normal、Iris和Vehicle数据集上表现突出。
• 尽管在大多数数据集上表现优异，该方法在Ionosphere数据集上表现欠佳，表明其对数据分布或度量组合策略可能存在敏感性。