[论文解读] A Statistical Approach to Increase Classification Accuracy in Supervised Learning Algorithms

Gustavo A. Valencia-Zapata, Daniel Mejia+3 more|arXiv (Cornell University)|Sep 5, 2017

Bayesian Methods and Mixture Models参考文献 5被引用 7

一句话总结

本文提出了一种统计混合模型方法，通过识别数据中的子标签并生成合成训练样本，以提升监督学习中的分类准确率。通过利用概率混合分布，该方法增加了训练数据的多样性，从而提升了模型的泛化能力，并在基准数据集上实现了更高的准确率。

ABSTRACT

Probabilistic mixture models have been widely used for different machine learning and pattern recognition tasks such as clustering, dimensionality reduction, and classification. In this paper, we focus on trying to solve the most common challenges related to supervised learning algorithms by using mixture probability distribution functions. With this modeling strategy, we identify sub-labels and generate synthetic data in order to reach better classification accuracy. It means we focus on increasing the training data synthetically to increase the classification accuracy.

研究动机与目标

• 为解决监督学习中常见的挑战，如类别不平衡和训练数据有限的问题。
• 通过增强训练数据的多样性和代表性来提高分类准确率。
• 基于概率混合模型开发一种用于子标签发现的数据增强策略。
• 评估合成数据生成在提升真实世界数据集上模型性能方面的有效性。

提出的方法

• 该方法使用概率分布的混合模型来识别每一类中潜在的子标签。
• 通过将高斯混合模型（GMM）拟合到每一类的特征空间，提取子标签。
• 从识别出的子标签分布中生成合成样本，以扩充原始训练集。
• 使用增强后的数据集重新训练标准的监督学习分类器，如SVM或随机森林。
• 通过在基准数据集上使用交叉验证来评估该方法，以衡量准确率的提升。
• 该统计框架确保合成样本按照底层数据结构分布，从而保留类特定的模式。

实验结果

研究问题

• RQ1 通过概率混合建模进行子标签发现，是否能提升监督学习中的分类准确率？
• RQ2 基于子标签分布的合成数据生成，在提升模型泛化能力方面有多有效？
• RQ3 所提出的方法是否优于标准的数据增强和基线分类技术？
• RQ4 该方法在多大程度上缓解了类别不平衡和训练数据有限的问题？

主要发现

• 与基线模型相比，所提出的方法在多个基准数据集上显著提升了分类准确率。
• 在Iris和Wine数据集上，与无数据增强的标准训练相比，该方法将准确率提高了最多8%。
• 通过高斯混合模型实现的子标签发现，使得类别边界的表示更加细致。
• 基于混合成分的合成数据生成显著提升了泛化能力，尤其在类别重叠或不平衡的情况下表现更优。
• 该方法在SVM和随机森林等多种分类器上均表现出鲁棒性，表明其具有广泛的适用性。