[论文解读] Improved Sampling Techniques for Learning an Imbalanced Data Set

Maureen Lyndel C Lauron, Jaderick P. Pabico|arXiv (Cornell University)|Jan 18, 2016

Imbalanced Data Classification Techniques参考文献 2被引用 4

一句话总结

本文提出了五种新颖的采样技术——SMOTERandRep、Lax Random Oversampling (LRO)、Lax Random Undersampling (LRU) 以及两种组合方法（C-LROU 和 C-LRUO），以提升在类别不平衡的多分类数据上的分类器性能。在一所大学的学生数据集上使用 stackingC 集成分类器，LRO、SMOTE 和 SMOTERandRep 在 F-measure（0.5–0.65）和 G-mean（0.86、0.84、0.83）方面表现最佳，优于传统方法和欠采样技术。

ABSTRACT

This paper presents the performance of a classifier built using the stackingC algorithm in nine different data sets. Each data set is generated using a sampling technique applied on the original imbalanced data set. Five new sampling techniques are proposed in this paper (i.e., SMOTERandRep, Lax Random Oversampling, Lax Random Undersampling, Combined-Lax Random Oversampling Undersampling, and Combined-Lax Random Undersampling Oversampling) that were based on the three sampling techniques (i.e., Random Undersampling, Random Oversampling, and Synthetic Minority Oversampling Technique) usually used as solutions in imbalance learning. The metrics used to evaluate the classifier's performance were F-measure and G-mean. F-measure determines the performance of the classifier for every class, while G-mean measures the overall performance of the classifier. The results using F-measure showed that for the data without a sampling technique, the classifier's performance is good only for the majority class. It also showed that among the eight sampling techniques, RU and LRU have the worst performance while other techniques (i.e., RO, C-LRUO and C-LROU) performed well only on some classes. The best performing techniques in all data sets were SMOTE, SMOTERandRep, and LRO having the lowest F-measure values between 0.5 and 0.65. The results using G-mean showed that the oversampling technique that attained the highest G-mean value is LRO (0.86), next is C-LROU (0.85), then SMOTE (0.84) and finally is SMOTERandRep (0.83). Combining the result of the two metrics (F-measure and G-mean), only the three sampling techniques are considered as good performing (i.e., LRO, SMOTE, and SMOTERandRep).

研究动机与目标

• 为解决学术分类任务中多分类不平衡数据的挑战，特别是针对 UPLB 学生学业结果的预测。
• 在不降低多数类性能的前提下，提升分类器对少数类的性能。
• 评估新型采样技术——SMOTERandRep、LRO、LRU、C-LROU 和 C-LRUO 的有效性，与 RU、RO 和 SMOTE 等标准方法进行对比。
• 确定哪种采样技术能在 F-measure 和 G-mean 指标下，实现对少数类与多数类性能的最佳平衡。

提出的方法

• 提出五种新型采样技术：SMOTERandRep（SMOTE 与随机复制结合）、Lax Random Oversampling (LRO)、Lax Random Undersampling (LRU)，以及两种组合方法（C-LROU 和 C-LRUO）。
• 将这些技术应用于一个真实世界的、多分类且不平衡的数据集，包含 2,297 条学生记录，共 13 个类别，其中 12 个为少数类。
• 采用 stackingC 集成分类器，结合 SVM、k-NN、C4.5、CART 和多层感知机，以提升整体分类性能。
• 采用分层十折交叉验证进行模型评估，并计算 F-measure 和 G-mean 作为性能指标。
• 使用所有类别召回值的几何平均计算 G-mean：G-mean = (∏ᵢ₌₁ᶜ rcᵢ)^(1/c)，其中 rcᵢ 为类别 i 的召回率。
• 使用 WEKA 实现 SMOTE、stackingC 和所有评估指标，以确保可复现性和标准化。

实验结果

研究问题

• RQ1 在多分类不平衡数据集中，哪种采样技术最有效地提升所有少数类的分类器性能？
• RQ2 所提出的采样技术（LRO、LRU、C-LROU、C-LRUO 和 SMOTERandRep）与传统方法（如 RU、RO 和 SMOTE）相比，在 F-measure 和 G-mean 上表现如何？
• RQ3 在保持少数类与多数类高性能方面，过采样是否优于欠采样？
• RQ4 为何某些组合采样技术（如 C-LROU）表现出较高的 F-measure 但较低的 G-mean，表明其在类别特定性能与整体性能之间存在权衡？
• RQ5 所提出的 LRO 和 SMOTERandRep 技术是否能在与现有最先进方法的比较中，实现对少数类与多数类性能的更优平衡？

主要发现

• Lax Random Oversampling (LRO) 达到了最高的 G-mean 得分 0.86，整体分类器性能优于所有其他采样技术。
• SMOTE 的 G-mean 为 0.84，所有类别上的 F-measure 值在 0.5 至 0.65 之间，表明其性能强大且均衡。
• SMOTERandRep 的 G-mean 为 0.83，最差类别（SDW）的 F-measure 为 0.52，显示出对少数类的一致学习能力。
• 随机欠采样（RU）和 Lax Random Undersampling (LRU) 表现最差，F-measure 和 G-mean 值最低，原因在于多数类信息的丢失。
• 组合方法 C-LROU 在大多数类别上表现出较高的 F-measure，但 G-mean 较低（0.85），表明其虽在少数类上表现强劲，却牺牲了多数类的性能。
• 在所有技术中，仅 LRO、SMOTE 和 SMOTERandRep 在 F-measure 和 G-mean 上均表现出一致的强性能，因此在处理类别不平衡的多分类学习任务中最为有效。