[论文解读] Handling Imbalanced Data: A Case Study for Binary Class Problems

Richmond Addo Danquah|arXiv (Cornell University)|Oct 9, 2020

Imbalanced Data Classification Techniques参考文献 6被引用 5

一句话总结

本文提出了一种实践性、算法透明的对比研究，比较SMOTE与ADASYN在处理不平衡二分类问题中的表现。通过手动计算合成数据点，清晰展示了两种技术生成少数类样本的机制——SMOTE以均匀方式生成，ADASYN则基于邻域密度自适应生成。结果表明，ADASYN在高不平衡比率下能更好地提升对难以学习的少数类实例的检测性能。

ABSTRACT

For several years till date, the major issues in terms of solving for classification problems are the issues of Imbalanced data. Because majority of the machine learning algorithms by default assumes all data are balanced, the algorithms do not take into consideration the distribution of the data sample class. The results tend to be unsatisfactory and skewed towards the majority sample class distribution. This implies that the consequences as a result of using a model built using an Imbalanced data without handling for the Imbalance in the data could be misleading both in practice and theory. Most researchers have focused on the application of Synthetic Minority Oversampling Technique (SMOTE) and Adaptive Synthetic (ADASYN) Sampling Approach in handling data Imbalance independently in their works and have failed to better explain the algorithms behind these techniques with computed examples. This paper focuses on both synthetic oversampling techniques and manually computes synthetic data points to enhance easy comprehension of the algorithms. We analyze the application of these synthetic oversampling techniques on binary classification problems with different Imbalanced ratios and sample sizes.

研究动机与目标

• 为解决二分类任务中持续存在的类别不平衡问题，其中标准机器学习算法倾向于多数类。
• 提供SMOTE与ADASYN合成数据生成的详细、分步手动计算，以增强对算法机制的理解。
• 使用标准分类指标，在不同不平衡比率和样本规模下比较SMOTE与ADASYN的性能表现。
• 证明ADASYN基于邻域密度的自适应采样策略能更有效地提升对难以学习的少数类实例的检测能力。
• 为实际应用场景（如欺诈检测与医学诊断）提供关于合成过采样技术的实用洞见。

提出的方法

• 通过SMOTE进行手动计算合成数据点：对每个少数类样本，选取k个最近邻，计算该样本与邻居之间的随机向量，并沿该向量生成新点。
• 通过计算每个少数类样本的k个最近邻中多数类邻居的比例，来确定ADASYN的采样优先级。
• 根据困难度评分（多数类邻居比例）按比例生成合成样本，得分越高则生成的合成样本越多。
• 采用加权分布策略，使每个少数类实例生成的合成样本数量与其所处区域的多数类邻居密度成正比。
• 使用标准评估指标（包括准确率、精确率、召回率、F1-Score与AUC）比较过采样前后的模型性能。
• 在具有受控不平衡比率和不同样本规模的现实世界启发的二元数据集上应用上述方法，以评估其鲁棒性。

实验结果

研究问题

• RQ1 当应用于具有不同程度类别不平衡的二分类问题时，SMOTE与ADASYN的性能表现有何不同？
• RQ2 合成过采样对召回率、F1-Score与AUC等关键分类指标在不平衡数据集中的影响是什么？
• RQ3 ADASYN的自适应采样策略相较于SMOTE的均匀采样，在提升对难以学习的少数类实例的模型性能方面有何优势？
• RQ4 手动计算合成数据点是否能增强对SMOTE与ADASYN底层机制的理解？
• RQ5 样本规模与不平衡比率对合成过采样技术有效性的影响如何？

主要发现

• 在高不平衡比率下，ADASYN在召回率与F1-Score方面优于SMOTE，尤其体现在其为更难分类的少数类实例生成了更多合成样本。
• 对SMOTE与ADASYN的手动计算过程清晰揭示了其算法机制：SMOTE在所有少数类样本间均匀生成点，而ADASYN则优先处理多数类邻居密度较高的样本。
• 在少数类仅三个样本的示例中，SMOTE通过生成两个合成点（4.5, 3）与（5, 2.5）将少数类规模增至五个，从而改善了不平衡比率。
• ADASYN的自适应机制使合成样本分布更有效，集中于多数类邻居密度较高的区域，这些区域通常更具歧义性且更难学习。
• 本研究证实，在不平衡设置下仅依赖准确率具有误导性，而召回率与F1-Score等指标对少数类检测更具信息量。
• 结果表明，由于ADASYN能聚焦于具有挑战性的少数类实例，从而减少模型预测偏差，因此在高不平衡场景下比SMOTE更具鲁棒性。