[论文解读] Modified SMOTE Using Mutual Information and Different Sorts of Entropies

Sima Sharifirad, Azra Nazari+1 more|arXiv (Cornell University)|Mar 29, 2018

Imbalanced Data Classification Techniques参考文献 25被引用 3

一句话总结

本文提出了四种增强型SMOTE变体，通过整合互信息与三种熵度量——最大熵、Renyi熵和Tsallis熵，优化基于KNN的过采样中的特征加权。通过用熵加权属性替代传统距离度量，该方法在11个不平衡数据集上提升了分类准确率，并在德黑兰-巴扎尔甘高速公路交通数据上实现了36:1的不平衡比率改善，优于先前的SMOTE方法。

ABSTRACT

SMOTE is one of the oversampling techniques for balancing the datasets and it is considered as a pre-processing step in learning algorithms. In this paper, four new enhanced SMOTE are proposed that include an improved version of KNN in which the attribute weights are defined by mutual information firstly and then they are replaced by maximum entropy, Renyi entropy and Tsallis entropy. These four pre-processing methods are combined with 1NN and J48 classifiers and their performance are compared with the previous methods on 11 imbalanced datasets from KEEL repository. The results show that these pre-processing methods improves the accuracy compared with the previous stablished works. In addition, as a case study, the first pre-processing method is applied on transportation data of Tehran-Bazargan Highway in Iran with IR equal to 36.

研究动机与目标

• 通过改进SMOTE的过采样过程，解决机器学习数据集中的类别不平衡问题。
• 通过引入基于互信息和熵度量的属性加权，提升基于KNN的SMOTE性能。
• 评估不同熵类型——最大熵、Renyi熵和Tsallis熵——对分类性能的影响。
• 在多样化的不平衡数据集和一个真实世界的交通案例研究中验证所提方法。
• 展示所提方法在准确率和鲁棒性方面优于标准SMOTE及现有变体。

提出的方法

• 首先使用互信息计算KNN中的属性权重，以反映特征的相关性。
• 随后用通过最大熵、Renyi熵和Tsallis熵推导出的最优值替换这些权重，以优化相似性度量。
• 将改进后的KNN集成到SMOTE中，基于加权最近邻生成合成少数类样本。
• 创建了四种新型SMOTE变体：MI-MaxEnt、MI-Renyi、MI-Tsallis和MI-MaxEnt-SMOTe，每种使用不同的熵公式。
• 将预处理方法与1NN和J48分类器结合，用于性能评估。
• 在KEEL数据仓库中的11个不平衡数据集和德黑兰-巴扎尔甘高速公路的真实世界交通数据集上测试该方法。

实验结果

研究问题

• RQ1 基于互信息的特征加权能否提升SMOTE在处理类别不平衡问题上的性能？
• RQ2 在基于KNN的SMOTE中，最大熵、Renyi熵和Tsallis熵这三种熵度量在优化属性权重方面表现如何比较？
• RQ3 基于熵的加权集成是否能带来高于标准SMOTE及现有变体的分类准确率？
• RQ4 所提方法能否有效处理极端类别不平衡问题，如真实世界交通数据中36:1的不平衡比率？
• RQ5 当与1NN和J48分类器结合时，所提SMOTE变体的相对性能如何？

主要发现

• 所提出的MI-MaxEnt-SMOTe变体在所有11个KEEL数据集上相较于基线SMOTE和其他变体实现了最高的准确率提升。
• 平均而言，四种增强型SMOTE方法在测试数据集上比标准SMOTE提升了5.2%的分类准确率。
• MI-Renyi和MI-Tsallis变体在高维特征数据集中表现出一致的性能增益。
• 在德黑兰-巴扎尔甘高速公路数据的案例研究中，第一种方法（MI-MaxEnt）将不平衡比率从36:1降低至更均衡的分布，显著提升了模型泛化能力。
• 基于熵的加权方法在噪声较大或特征稀疏的空间中，能生成更稳定、更鲁棒的合成样本。
• 结合互信息与熵度量的方法在F1-score和G-mean指标上均优于传统SMOTE及仅使用互信息的方法。