[论文解读] Data Curation and Quality Assurance for Machine Learning-based Cyber Intrusion Detection

Haihua Chen, Ngan Tran+3 more|arXiv (Cornell University)|May 20, 2021

Network Security and Intrusion Detection参考文献 60被引用 5

一句话总结

本文提出一种以数据为中心的方法，通过系统评估数据质量及其对模型性能的影响，来提升基于机器学习的主机入侵检测系统。利用11个HIDS数据集和10种模型（包括BERT和GPT-2），研究结果表明，数据质量（尤其是准确性、一致性和声誉）显著影响检测性能，当使用高质量数据时，深度学习模型的表现优于传统模型。

ABSTRACT

Intrusion detection is an essential task in the cyber threat environment. Machine learning and deep learning techniques have been applied for intrusion detection. However, most of the existing research focuses on the model work but ignores the fact that poor data quality has a direct impact on the performance of a machine learning system. More attention should be paid to the data work when building a machine learning-based intrusion detection system. This article first summarizes existing machine learning-based intrusion detection systems and the datasets used for building these systems. Then the data preparation workflow and quality requirements for intrusion detection are discussed. To figure out how data and models affect machine learning performance, we conducted experiments on 11 HIDS datasets using seven machine learning models and three deep learning models. The experimental results show that BERT and GPT were the best algorithms for HIDS on all of the datasets. However, the performance on different datasets varies, indicating the differences between the data quality of these datasets. We then evaluate the data quality of the 11 datasets based on quality dimensions proposed in this paper to determine the best characteristics that a HIDS dataset should possess in order to yield the best possible result. This research initiates a data quality perspective for researchers and practitioners to improve the performance of machine learning-based intrusion detection.

研究动机与目标

• 为解决机器学习驱动的入侵检测系统中数据质量被低估的问题。
• 识别在HIDS场景下对模型性能影响最大的数据质量维度。
• 评估多种数据集和模型下数据质量度量与机器学习性能之间的相关性。
• 提出一种数据整理框架，优先保障数据质量，以提升入侵检测的准确性。

提出的方法

• 对11个公开的HIDS数据集进行系统性回顾，以分析数据准备流程和质量属性。
• 在所有11个数据集上应用七种传统机器学习模型和三种深度学习模型（包括BERT和GPT-2），以评估性能差异。
• 使用五个维度（声誉、准确性、一致性、完整性和多样性）对数据质量进行量化评估。
• 采用自助采样技术以缓解数据集中的类别不平衡问题，提升模型泛化能力。
• 分析数据质量评分与模型性能之间的相关性，以识别关键的质量驱动因素。
• 未来通过引入知识图谱和迁移学习等外部知识源，进一步提升数据质量。

实验结果

研究问题

• RQ1 准确性、一致性及声誉等数据质量维度如何影响HIDS中机器学习模型的性能？
• RQ2 在不同数据质量的多样化HIDS数据集中，哪些机器学习与深度学习模型表现最佳？
• RQ3 数据质量在多大程度上解释了不同入侵检测数据集间性能差异？
• RQ4 如自助采样等数据质量改进技术能否缓解因类别不平衡导致的性能下降？
• RQ5 构建高性能、以数据为中心的入侵检测系统时，最有效的数据整理实践是什么？

主要发现

• BERT和GPT-2在全部11个HIDS数据集中均达到最高性能，证明了上下文序列建模在入侵检测中的优越性。
• Synthetic Lpr、Live Lpr、Xlock、Live Named、Inetd和Stide等数据集持续优于其他数据集，表明其具有更高的内在数据质量。
• 模型之间的性能差距在低质量数据集上最为显著，证实数据质量是关键瓶颈。
• 声誉、准确性和一致性是实现高性能检测最关键的三个数据质量维度。
• 类别不平衡显著降低了模型性能，但自助采样技术有效提升了模型的鲁棒性与准确性。
• 标签噪声、数据重复和特征不完整等数据质量问题普遍存在，并与模型泛化能力下降直接相关。