[论文解读] CGMOS: Certainty Guided Minority OverSampling

Xi Zhang, Di Ma+3 more|arXiv (Cornell University)|Jul 21, 2016

Imbalanced Data Classification Techniques参考文献 25被引用 7

一句话总结

CGMOS 是一种新型的基于 SMOTE 的过采样方法，通过同时优化多数类和少数类的分类置信度来生成合成的少数类样本，确保在理论上优于 SMOTE。在 30 个真实世界数据集上使用六种分类器进行测试时，CGMOS 表现优异，相比 SMOTE 平均 AUC 提升 2%，且具有统计显著性。

ABSTRACT

Handling imbalanced datasets is a challenging problem that if not treated correctly results in reduced classification performance. Imbalanced datasets are commonly handled using minority oversampling, whereas the SMOTE algorithm is a successful oversampling algorithm with numerous extensions. SMOTE extensions do not have a theoretical guarantee during training to work better than SMOTE and in many instances their performance is data dependent. In this paper we propose a novel extension to the SMOTE algorithm with a theoretical guarantee for improved classification performance. The proposed approach considers the classification performance of both the majority and minority classes. In the proposed approach CGMOS (Certainty Guided Minority OverSampling) new data points are added by considering certainty changes in the dataset. The paper provides a proof that the proposed algorithm is guaranteed to work better than SMOTE for training data. Further experimental results on 30 real-world datasets show that CGMOS works better than existing algorithms when using 6 different classifiers.

研究动机与目标

• 为解决现有 SMOTE 扩展方法缺乏理论保证且可能损害多数类性能的局限性。
• 开发一种系统性地提升少数类和多数类分类置信度的过采样策略。
• 提供一种理论基础坚实的过采样方法，确保在训练过程中性能优于 SMOTE。
• 通过基于置信度变化引导合成样本生成，减少少数类学习中的过拟合和噪声敏感性。
• 在多样化的现实世界数据集和分类器上，评估所提方法的鲁棒性和统计显著性。

提出的方法

• CGMOS 使用贝叶斯分类框架计算多数类和少数类的置信度分数。
• 通过识别在两类置信度均可同时提升的区域来生成新的合成样本。
• 该方法将置信度引导的优化形式化，以确定合成新少数类样本的位置和方式。
• 与随机插值近邻的 SMOTE 不同，CGMOS 专注于最大化联合置信度提升的样本点。
• 该算法为单步操作，独立于学习过程，不依赖迭代提升或集成方法。
• 它采用基于置信度计算推导出的概率分布来引导采样过程，确保系统化且以性能为导向的数据合成。

实验结果

研究问题

• RQ1 能否设计一种具有理论保证的少数类过采样方法，使其在分类性能上优于 SMOTE？
• RQ2 同时优化多数类和少数类的置信度是否能带来更好的泛化性能并减少过拟合？
• RQ3 与随机或边界基采样相比，基于置信度引导的合成样本生成在 AUC 和鲁棒性方面表现如何？
• RQ4 随着合成样本数量的增加（从 0.5δ 到 5δ），CGMOS 在性能上保持或提升的程度如何？
• RQ5 CGMOS 的性能提升在多样化的数据集和分类器上是否具有统计显著性？

主要发现

• 在 30 个真实世界数据集上，CGMOS 的平均 AUC 比 SMOTE 高 2%，且 SMOTE 排名第二。
• 该方法在所有六种测试分类器上均持续优于所有基线方法，包括 SMOTE、Borderline-SMOTE、Adasyn 和 MWMOTE。
• CGMOS 展现出更优的鲁棒性：随着合成样本数量增加（从 0.5δ 到 5δ），其性能保持稳定且始终优于其他方法。
• 对于 b-kde 分类器，CGMOS 实现了最大的性能提升，证实其设计与使用 b-kde 的置信度计算高度契合。
• 使用 Wilcoxon 符号秩检验进行的统计显著性测试表明，所有 p 值均低于 0.05，表明 CGMOS 的优越性具有统计显著性。
• 在 ROC 曲线分析中，CGMOS 在所有假阳性率水平下均保持最高的真正率，展现出一致的优越性。