[论文解读] A Novel Resampling Technique for Imbalanced Dataset Optimization

Ivan Letteri, Antonio Di Cecco+2 more|arXiv (Cornell University)|Dec 30, 2020

Imbalanced Data Classification Techniques参考文献 35被引用 8

一句话总结

本文提出 G1No 和 G1No Gourmet 两种新型过采样技术，通过基于轮廓系数的实例选择与基于 1-最近邻的合成样本生成，解决恶意软件流量检测中的类别不平衡问题。该方法在所有指标上均优于 SMOTE 和 ADASYN，在 MTA-KDD'19 数据集上实现 99.84% 的精确率与 100.0% 的 AUC，具备更优的泛化能力并减少过拟合。

ABSTRACT

Despite the enormous amount of data, particular events of interest can still be quite rare. Classification of rare events is a common problem in many domains, such as fraudulent transactions, malware traffic analysis and network intrusion detection. Many studies have been developed for malware detection using machine learning approaches on various datasets, but as far as we know only the MTA-KDD'19 dataset has the peculiarity of updating the representative set of malicious traffic on a daily basis. This daily updating is the added value of the dataset, but it translates into a potential due to the class imbalance problem that the RRw-Optimized MTA-KDD'19 will occur. We capture difficulties of class distribution in real datasets by considering four types of minority class examples: safe, borderline, rare and outliers. In this work, we developed two versions of Generative Silhouette Resampling 1-Nearest Neighbour (G1Nos) oversampling algorithms for dealing with class imbalance problem. The first module of G1Nos algorithms performs a coefficient-based instance selection silhouette identifying the critical threshold of Imbalance Degree. (ID), the second module generates synthetic samples using a SMOTE-like oversampling algorithm. The balancing of the classes is done by our G1Nos algorithms to re-establish the proportions between the two classes of the used dataset. The experimental results show that our oversampling algorithm work better than the other two SOTA methodologies in all the metrics considered.

研究动机与目标

• 为解决现实世界数据集中持续存在的类别不平衡问题，特别是在恶意软件流量检测中少数类（恶意）样本稀少的场景。
• 开发一种数据级重采样方法，通过生成高质量的合成少数类样本，提升分类器性能。
• 探究数据复杂度与少数类分布（特别是安全样本、边界样本、稀有样本与异常值）对模型泛化能力的影响。
• 在 SMOTE 类方法基础上，引入轮廓系数分析，实现更智能、更鲁棒的样本生成。
• 在动态、每日更新的 MTA-KDD'19 数据集上验证方法，模拟真实世界中的类别不平衡动态。

提出的方法

• 该方法首先应用基于轮廓系数的实例选择，识别并移除噪声或冗余的多数类样本，设定不平衡度（ID）阈值为 0.3721。
• 随后采用 1-最近邻（1-NN）方法识别关键少数类样本，并将其分类为：安全、边界、稀有与异常值。
• 利用类似 SMOTE 的算法生成合成少数类样本，但通过在少数类样本凸包内部与外部均生成样本，提升样本多样性。
• G1No Gourmet 变体通过基于轮廓系数选择更具信息量的邻居，优化采样过程，提升样本质量。
• 通过有针对性的合成数据生成，重新建立类别比例，实现数据平衡，避免因重复采样导致的过拟合。
• 在 MTA-KDD'19 数据集上使用多层感知机分类器评估性能，并与 SMOTE 和 ADASYN 进行指标对比。

实验结果

研究问题

• RQ1 基于轮廓系数的实例选择如何提升类别不平衡数据集中重采样的质量？
• RQ2 基于 1-NN 的少数类样本生成方法是否能在泛化能力与鲁棒性方面超越标准 SMOTE 与 ADASYN？
• RQ3 在少数类样本凸包内部与外部同时生成合成样本，对分类器性能有何影响？
• RQ4 MTA-KDD'19 数据集的动态、每日更新特性如何影响重采样技术的评估？
• RQ5 与基线过采样方法相比，所提方法在多大程度上减少了过拟合与泛化差距？

主要发现

• G1No 与 G1No Gourmet 算法在 MTA-KDD'19 测试集上分别实现 99.84% 的精确率与 100.0% 的 AUC，优于 SMOTE（99.52% 精确率，99.90% AUC）与 ADASYN（99.80% 精确率，99.80% AUC）。
• G1No Gourmet 模型实现 99.70% 的准确率，超过原始 MTA-KDD'19 数据集报告的 99.60% 准确率。
• 训练与验证损失曲线显示，G1No 方法的损失差距极小且收敛稳定，表明其具备强大的泛化能力且无过拟合现象，而 SMOTE 与 ADASYN 则存在此问题。
• ADASYN 方法在第 10 个周期后仍持续降低训练损失，表明存在提前停止与欠拟合问题，而 G1No 模型则早期稳定并达到最优性能。
• G1No 算法通过将样本生成扩展至少数类样本凸包之外，生成了结构多样性更丰富的样本，从而提升模型鲁棒性。
• 相关性分析显示，四种方法生成的合成样本在特征层面存在显著差异，其中 G1No 生成的样本更具一致性与信息量。