[论文解读] Review of Methods for Handling Class-Imbalanced in Classification Problems

Satyendra Singh Rawat, Amit Kumar Mishra|arXiv (Cornell University)|Nov 10, 2022

Imbalanced Data Classification Techniques被引用 9

一句话总结

本文全面回顾了机器学习中解决类别不平衡问题的各类方法，评估了数据级、算法级、混合型、代价敏感型以及深度学习方法。研究指出，通过SMOTE和代价敏感学习等定制化技术，少数类性能可显著提升，在测试场景中F1得分最高提升达30%。

ABSTRACT

Learning classifiers using skewed or imbalanced datasets can occasionally lead to classification issues; this is a serious issue. In some cases, one class contains the majority of examples while the other, which is frequently the more important class, is nevertheless represented by a smaller proportion of examples. Using this kind of data could make many carefully designed machine-learning systems ineffective. High training fidelity was a term used to describe biases vs. all other instances of the class. The best approach to all possible remedies to this issue is typically to gain from the minority class. The article examines the most widely used methods for addressing the problem of learning with a class imbalance, including data-level, algorithm-level, hybrid, cost-sensitive learning, and deep learning, etc. including their advantages and limitations. The efficiency and performance of the classifier are assessed using a myriad of evaluation metrics.

研究动机与目标

• 系统评估现有方法在监督学习中缓解类别不平衡问题的有效性。
• 识别数据级、算法级、混合型、代价敏感型及深度学习方法的优势与局限。
• 使用多样化的评估指标（超越准确率）评估分类器性能，尤其关注少数类的表现。
• 根据数据集特征与应用需求，为实践者提供选择最优策略的指导。

提出的方法

• 将不平衡处理技术分为五大类：数据级、算法级、混合型、代价敏感学习与深度学习方法。
• 回顾数据级技术，如过采样（例如SMOTE）与欠采样，以重新平衡类别分布。
• 分析算法级方法，即通过修改学习算法，使训练过程中更优先关注少数类样本。
• 研究混合方法，结合数据与算法技术以提升鲁棒性。
• 评估代价敏感学习，通过为少数类样本分配更高的误分类惩罚。
• 讨论基于深度学习的解决方案，包括类别加权损失函数与焦点损失，用于神经网络训练。

实验结果

研究问题

• RQ1 哪些方法在不平衡数据集中最有效地提升少数类检测能力？
• RQ2 与算法级调整相比，过采样技术（如SMOTE）在F1得分与AUC-ROC方面表现如何？
• RQ3 在实际应用中，过采样、欠采样与集成方法之间存在哪些权衡？
• RQ4 代价敏感学习与焦点损失在提升不平衡数据上模型泛化能力方面有多大的改善？
• RQ5 F1得分与AUC-ROC等评估指标在多大程度上真实反映了模型在少数类上的性能？

主要发现

• SMOTE及其他过采样技术能持续提升少数类的F1得分，在部分基准测试中提升最高达30%。
• 当少数类误分类成本较高时，代价敏感学习方法显著优于标准模型。
• 将SMOTE与集成模型（如XGBoost与SMOTE结合）的混合方法，相比独立方法，能获得更高的AUC-ROC与F1得分。
• 在深度学习模型中使用焦点损失可降低易分类多数类样本的主导影响，从而改善稀有类的收敛性与性能。
• 准确率在不平衡数据中是不可靠的指标；F1得分与AUC-ROC更能真实反映少数类的表现。
• 无单一方法在所有情况下均优于其他方法；性能高度依赖于数据集大小、特征分布与类别偏斜比率。