[论文解读] An Empirical Analysis of the Efficacy of Different Sampling Techniques for Imbalanced Classification

Asif Newaz, Shahriar Hassan+1 more|arXiv (Cornell University)|Aug 25, 2022

Imbalanced Data Classification Techniques被引用 7

一句话总结

本文对50个多样化数据集中的26种采样技术在类别不平衡分类中的表现进行了全面的实证评估。研究根据数据集特征和性能指标，识别出在不同不平衡水平下最有效的技术，并提供了数据驱动的策略选择建议。

ABSTRACT

Learning from imbalanced data is a challenging task. Standard classification algorithms tend to perform poorly when trained on imbalanced data. Some special strategies need to be adopted, either by modifying the data distribution or by redesigning the underlying classification algorithm to achieve desirable performance. The prevalence of imbalance in real-world datasets has led to the creation of a multitude of strategies for the class imbalance issue. However, not all the strategies are useful or provide good performance in different imbalance scenarios. There are numerous approaches to dealing with imbalanced data, but the efficacy of such techniques or an experimental comparison among those techniques has not been conducted. In this study, we present a comprehensive analysis of 26 popular sampling techniques to understand their effectiveness in dealing with imbalanced data. Rigorous experiments have been conducted on 50 datasets with different degrees of imbalance to thoroughly investigate the performance of these techniques. A detailed discussion of the advantages and limitations of the techniques, as well as how to overcome such limitations, has been presented. We identify some critical factors that affect the sampling strategies and provide recommendations on how to choose an appropriate sampling technique for a particular application.

研究动机与目标

• 评估26种广泛使用的采样技术在解决机器学习中类别不平衡问题方面的有效性。
• 识别在具有不同程度类别不平衡的多样化数据集中表现最佳的采样策略。
• 分析每种技术的优势与局限性，并为从业者提供可操作的建议。
• 研究数据集特定因素（如不平衡比、特征空间和样本量）如何影响采样效果。
• 为未来在类别不平衡分类任务中比较采样技术建立基准。

提出的方法

• 在50个具有不同程度类别不平衡（从1:5到1:1000）的真实世界数据集上进行了严格实验。
• 应用了26种不同的采样技术，包括SMOTE、ADASYN、随机过采样、欠采样以及混合方法。
• 使用F1-score、G-mean、AUC-ROC和精确率-召回率等标准分类指标评估性能。
• 在所有数据集和技术之间采用一致的训练与测试协议，以确保公平比较。
• 通过重复配对t检验等统计显著性检验，验证观察到的性能差异。
• 分析数据集特征（如特征维度、样本量、不平衡比）对采样性能的影响。

实验结果

研究问题

• RQ1 在多样化类别不平衡数据集中，哪种采样技术在F1-score和G-mean上表现最佳？
• RQ2 随着类别不平衡程度的增加（不平衡比提高），采样技术的性能如何变化？
• RQ3 SMOTE和ADASYN等流行技术在资源有限或高维设置下的主要局限性是什么？
• RQ4 与纯过采样或欠采样相比，混合采样方法在鲁棒性和泛化能力方面表现如何？
• RQ5 哪些数据集特征对特定采样策略的有效性影响最大？

主要发现

• SMOTE及其变体（如针对类别特征的SMOTE-NC）在大多数数据集中，F1-score和G-mean方面均持续优于其他技术。
• ADASYN在具有复杂决策边界的数据集中表现强劲，但在高维数据中因过拟合而表现不佳。
• 随机过采样结合类别重平衡在低不平衡数据集中取得了具有竞争力的结果，但在极端不平衡情况（比例 > 1:100）下性能下降。
• 混合方法如SMOTE + Tomek Links和SMOTE + ENN通过减少重叠和噪声，提升了泛化能力，尤其在中高不平衡场景中表现更优。
• 采样技术的有效性显著受不平衡比和特征空间维度的影响，在高维低样本场景中性能明显下降。
• 结合数据分布建模的技术（如基于GAN的采样）展现出潜力，但需要仔细调参，且在不同数据集间稳定性较差。