[论文解读] Expansion of Cyber Attack Data From Unbalanced Datasets Using Generative Techniques

Ibrahim Yilmaz, Rahat Masum|arXiv (Cornell University)|Dec 10, 2019

Network Security and Intrusion Detection参考文献 21被引用 11

一句话总结

本文提出使用生成对抗网络（GANs）对不平衡的网络攻击数据集（特别是 UGR’16 数据集）进行数据增强，通过生成合成攻击样本以提升分类器性能。基于 GAN 的数据扩展显著提升了模型的准确率、AUC-ROC 及精确率-召回率指标，有效平衡了少数类攻击样本。

ABSTRACT

Machine learning techniques help to understand patterns of a dataset to create a defense mechanism against cyber attacks. However, it is difficult to construct a theoretical model due to the imbalances in the dataset for discriminating attacks from the overall dataset. Multilayer Perceptron (MLP) technique will provide improvement in accuracy and increase the performance of detecting the attack and benign data from a balanced dataset. We have worked on the UGR'16 dataset publicly available for this work. Data wrangling has been done due to prepare test set from in the original set. We fed the neural network classifier larger input to the neural network in an increasing manner (i.e. 10000, 50000, 1 million) to see the distribution of features over the accuracy. We have implemented a GAN model that can produce samples of different attack labels (e.g. blacklist, anomaly spam, ssh scan). We have been able to generate as many samples as necessary based on the data sample we have taken from the UGR'16. We have tested the accuracy of our model with the imbalance dataset initially and then with the increasing the attack samples and found improvement of classification performance for the latter.

研究动机与目标

• 解决入侵检测系统（IDS）中数据集不平衡的问题，即攻击样本远少于正常流量。
• 通过生成技术平衡少数类攻击样本，提升机器学习分类器的泛化能力和检测准确率。
• 开发一种基于 GAN 的框架，从 UGR’16 数据集中合成逼真的网络攻击样本，以改善训练数据分布。
• 使用 AUC-ROC 和精确率-召回率曲线等标准指标，评估数据增强对模型性能的影响。

提出的方法

• 以 UGR’16 数据集为主要训练和测试数据源，通过数据清洗处理构建平衡的测试集。
• 在 GAN 架构中使用多层感知机（MLP）作为判别器，以区分真实与生成的攻击样本。
• 训练生成器网络，基于真实数据分布，生成多种攻击类型（如黑名单攻击、SSH 扫描、异常垃圾邮件等）的合成攻击样本。
• 逐步增加训练输入规模（10k、50k、1M 个样本），以评估特征分布和模型可扩展性。
• 通过特征工程将混合数据类型（如 IP 地址）转换为适合神经网络输入的数值表示。
• 在不平衡数据集和 GAN 增强的平衡数据集上，使用 AUC-ROC 和精确率-召回率曲线评估模型性能。

实验结果

研究问题

• RQ1 基于 GAN 的数据生成能否有效平衡 UGR’16 等不平衡网络攻击数据集，从而提升分类器性能？
• RQ2 在神经网络基入侵检测系统中，引入合成攻击样本如何影响 AUC-ROC 和精确率-召回率指标？
• RQ3 通过 GAN 实现的数据增强在多大程度上减少了在不平衡数据集中对正常流量的过拟合？
• RQ4 不同输入规模（10k 至 1M 个样本）在存在合成数据的情况下，如何影响特征分布和模型准确率？

主要发现

• 经过 GAN 增强的平衡数据集，AUC-ROC 值接近 1.0，表明模型性能近乎完美，而原始不平衡数据集的 AUC-ROC 仅为 0.80。
• 精确率-召回率 AUC 从原始不平衡数据集中的约 0.2 显著提升至 GAN 增强平衡数据集中的接近 1.0。
• 在增强数据集上训练的模型准确率显著提升，因为分类器能够从充足的攻击样本中学习，避免对正常流量的过拟合。
• 通过 GAN 生成的合成数据有效缓解了对多数类的偏差，从而提升了对少数类攻击类型的检测能力。
• 在扩展数据集上训练的模型在各类攻击类别中均表现出更强的鲁棒性和泛化能力。
• 尽管受硬件资源限制存在计算瓶颈，基于 GAN 的方法在 UGR’16 数据集的子集上仍证明具有可行性与可扩展性。