[论文解读] Discriminative Probabilistic Prototype Learning

Edwin V. Bonilla, Antonio Robles‐Kelly|arXiv (Cornell University)|Jun 18, 2012

Image Retrieval and Classification Techniques参考文献 18被引用 6

一句话总结

该论文提出了一种判别式概率原型学习框架，将每个输入建模为特征向量的概率混合，其中每个向量属于隐藏原型的似然性通过似然最大化进行学习。该方法通过实现模型参数与原型的联合判别式学习，对学习向量量化（LVQ）进行了泛化，在形状分类、高光谱成像和工作类别分类任务中相比基线方法取得了更优的性能。

ABSTRACT

In this paper we propose a simple yet powerful method for learning representations in supervised learning scenarios where each original input datapoint is described by a set of vectors and their associated outputs may be given by soft labels indicating, for example, class probabilities. We represent an input datapoint as a mixture of probabilities over the corresponding set of feature vectors where each probability indicates how likely each vector is to belong to an unknown prototype pattern. We propose a probabilistic model that parameterizes these prototype patterns in terms of hidden variables and therefore it can be trained with conventional approaches based on likelihood maximization. More importantly, both the model parameters and the prototype patterns can be learned from data in a discriminative way. We show that our model can be seen as a probabilistic generalization of learning vector quantization (LVQ). We apply our method to the problems of shape classification, hyperspectral imaging classification and people's work class categorization, showing the superior performance of our method compared to the standard prototype-based classification approach and other competitive benchmark methods.

研究动机与目标

• 开发一种统一的概率框架，用于在具有软标签的监督学习中学习原型。
• 实现从数据中对模型参数和原型模式进行判别式训练。
• 将传统的学习向量量化（LVQ）泛化为一种概率性、软分配框架。
• 在形状识别和高光谱成像等复杂任务中提升分类准确率。
• 为以特征向量集合形式组织的数据提供一种灵活的表示学习方法。

提出的方法

• 每个输入被建模为其组成特征向量的概率混合，其中每个概率反映该向量属于隐藏原型的可能性。
• 通过潜在变量对原型模式进行参数化，从而实现通过似然最大化进行端到端训练。
• 模型采用生成式概率公式，支持通过最大似然估计进行判别式微调。
• 该框架支持软标签监督，其中输出为类别概率而非硬标签。
• 通过在似然函数上使用标准优化技术进行训练，实现原型与模型参数的联合学习。
• 该方法可被解释为LVQ的概率泛化，其中原型以判别方式学习。

实验结果

研究问题

• RQ1 概率模型能否在实现判别式参数优化的同时，有效从数据中学习原型？
• RQ2 与标准LVQ及其他基于原型的方法相比，所提方法在分类准确率方面表现如何？
• RQ3 该框架是否比现有方法更有效地处理软标签和集合结构输入？
• RQ4 该模型在形状分类和高光谱成像等多样化领域中的泛化能力如何？
• RQ5 与单独训练或仅生成式训练相比，原型与模型参数的联合学习是否更具有效性？

主要发现

• 所提方法在形状分类任务中优于标准原型基分类方法及其他基准方法。
• 在高光谱成像分类中，该模型的准确率高于传统LVQ及相关概率模型。
• 在人员工作类别分类任务中，该方法在软标签数据上表现出更优性能。
• 该模型的概率公式能够更好地处理特征向量分配至原型时的不确定性。
• 原型与参数的联合判别式学习显著提升了在多样化数据集上的泛化能力与鲁棒性。
• 该方法被证明是LVQ的一种合理概率泛化，具备更强的表达能力与性能。