[论文解读] Benchmarking the Benchmark -- Analysis of Synthetic NIDS Datasets

Siamak Layeghy, Marcus Gallagher+1 more|arXiv (Cornell University)|Apr 19, 2021

Network Security and Intrusion Detection参考文献 8被引用 7

一句话总结

本文通过将合成NIDS基准数据集的良性流量统计特征与生产环境中的真实网络流量进行对比，评估了这些数据集的真实性。利用九个流量特征和降维技术，研究揭示了合成数据集与真实世界数据集之间存在显著的分布差异，从而对基于合成数据训练的高性能机器学习模型的泛化能力提出质疑。

ABSTRACT

Network Intrusion Detection Systems (NIDSs) are an increasingly important tool for the prevention and mitigation of cyber attacks. A number of labelled synthetic datasets generated have been generated and made publicly available by researchers, and they have become the benchmarks via which new ML-based NIDS classifiers are being evaluated. Recently published results show excellent classification performance with these datasets, increasingly approaching 100 percent performance across key evaluation metrics such as accuracy, F1 score, etc. Unfortunately, we have not yet seen these excellent academic research results translated into practical NIDS systems with such near-perfect performance. This motivated our research presented in this paper, where we analyse the statistical properties of the benign traffic in three of the more recent and relevant NIDS datasets, (CIC, UNSW, ...). As a comparison, we consider two datasets obtained from real-world production networks, one from a university network and one from a medium size Internet Service Provider (ISP). Our results show that the two real-world datasets are quite similar among themselves in regards to most of the considered statistical features. Equally, the three synthetic datasets are also relatively similar within their group. However, and most importantly, our results show a distinct difference of most of the considered statistical features between the three synthetic datasets and the two real-world datasets. Since ML relies on the basic assumption of training and test datasets being sampled from the same distribution, this raises the question of how well the performance results of ML-classifiers trained on the considered synthetic datasets can translate and generalise to real-world networks. We believe this is an interesting and relevant question which provides motivation for further research in this space.

研究动机与目标

• 调查合成NIDS基准数据集是否真实反映了真实世界中的良性网络流量。
• 识别合成数据集与真实生产网络流量之间的统计差异，这些差异可能限制模型的泛化能力。
• 提出一种基于流量特征分布的评估合成NIDS数据集真实性的方法论。
• 提出一种新颖的统计度量方法，以量化合成数据集与真实世界流量之间的相似性。
• 强调由于数据集分布不匹配，基于机器学习的NIDS研究中存在过度乐观性能声明的风险。

提出的方法

• 选取了三个近期的合成NIDS数据集：UNSW-NB15、CIC-IDS2017和TON-IOT。
• 从一所大学网络和一家ISP收集了两个真实世界的NetFlow/IPFIX数据集，时间均为2019年。
• 利用先前的转换工作，将所有数据集映射到统一的NetFlow/IPFIX格式，以支持跨数据集比较。
• 提取了九个关键流量特征（如流持续时间、数据包数量、字节数量）用于统计分析。
• 应用了四种降维技术（如t-SNE、UMAP）将特征分布可视化为二维空间。
• 提出了一种统计度量方法，以量化合成数据集与真实世界数据集之间特征分布的差异。

实验结果

研究问题

• RQ1 合成NIDS数据集中良性流量的统计特征与真实世界生产网络流量相比如何？
• RQ2 在流级特征分布方面，合成数据集在多大程度上与真实世界流量相似？
• RQ3 合成数据集与真实世界数据集之间的差异在多个统计特征上是否具有一致性？
• RQ4 一种定量度量能否可靠地捕捉合成数据与真实良性流量之间分布的差异？
• RQ5 所观察到的分布不匹配在多大程度上削弱了基于合成数据训练的机器学习NIDS模型的泛化能力？

主要发现

• 尽管网络类型和地理来源不同，两个真实世界数据集在其统计特征分布上表现出强烈的相似性。
• 三个合成数据集在其特征分布上表现出内部相似性，表明其合成生成模式具有一致性。
• 在所分析的九个特征中的大多数，合成数据集中良性流量与真实世界生产流量之间存在显著且一致的统计差异。
• 降维可视化结果清楚地将合成数据集和真实世界数据集分离为不同的聚类，证实了分布差异的存在。
• 所提出的统计度量定量确认了真实世界数据集之间的距离显著小于其与任一合成数据集之间的距离。
• 结果表明，基于合成基准数据集获得的高性能分类结果可能无法推广到真实世界部署，原因在于良性流量的分布发生了偏移。