[论文解读] Data-Driven Network Intrusion Detection: A Taxonomy of Challenges and Methods

Dylan Chou, Meng Jiang|arXiv (Cornell University)|Sep 15, 2020

Network Security and Intrusion Detection参考文献 159被引用 9

一句话总结

本文提出了一套数据驱动型网络入侵检测的全面分类法，识别出包括数据不平衡和合成数据集局限性在内的八个关键问题。该研究评估了1999年至2020年间常用的数据集，揭示了研究趋势，并倡导收集真实世界数据、采用可扩展模型以及构建云原生检测系统，以提升模型对新型攻击的泛化能力和性能。

ABSTRACT

Data-driven methods have been widely used in network intrusion detection (NID) systems. However, there are currently a number of challenges derived from how the datasets are being collected. Most attack classes in network intrusion datasets are considered the minority compared to normal traffic and many datasets are collected through virtual machines or other simulated environments rather than real-world networks. These challenges undermine the performance of intrusion detection machine learning models by fitting models such as random forests or support vector machines to unrepresentative "sandbox" datasets. This survey presents a carefully designed taxonomy highlighting eight main challenges and solutions and explores common datasets from 1999 to 2020. Trends are analyzed on the distribution of challenges addressed for the past decade and future directions are proposed on expanding NID into cloud-based environments, devising scalable models for larger amount of network intrusion data, and creating labeled datasets collected in real-world networks.

研究动机与目标

• 通过系统性分类法，识别并归类阻碍有效数据驱动型网络入侵检测（NID）的主要挑战。
• 分析广泛使用的公开NID数据集的局限性，特别是其合成来源和类别不平衡问题。
• 从2010年至2020年评估NID研究中的趋势，重点关注方法论的进展以及真实世界数据利用方面的缺口。
• 提出未来研究方向，包括可扩展的机器学习模型、真实世界数据收集，以及基于云的入侵检测系统。
• 通过评估方法论和数据相关挑战，引导研究人员开发更具代表性、泛化能力更强且实际可行的NID解决方案。

提出的方法

• 开发了一套挑战-方法启发式方法，系统性地将数据驱动型NID中的8个核心挑战映射到相应的技术解决方案。
• 对34个公开NID数据集（1999–2020年）进行熵分析和攻击类型分解，以量化数据不平衡和代表性问题。
• 调研并分类了100余篇2010–2020年间的学术论文，识别NID方法的趋势，重点关注机器学习与大数据的融合。
• 评估常见模型（如随机森林、支持向量机、深度神经网络）在合成或不平衡数据集上训练时的性能与局限性。
• 基于真实世界数据、动态数据处理以及云原生检测架构方面的研究缺口，提出未来研究方向。
• 使用词向量分析（例如图14）映射大数据、云计算与NID等技术之间的概念关系。

实验结果

研究问题

• RQ1 哪些主要的数据相关挑战会损害机器学习模型在网络安全入侵检测中的性能？
• RQ2 合成或虚拟化数据集在多大程度上影响NID模型的泛化能力与真实世界适用性？
• RQ3 2010年至2020年间，NID研究在方法论和数据集使用方面呈现出哪些趋势？
• RQ4 当前NID系统在处理大规模、动态及流式网络数据方面存在哪些关键局限性？
• RQ5 为推进可扩展、真实世界适用且与云集成的NID系统，哪些未来研究方向最为关键？

主要发现

• 大多数NID数据集存在严重不平衡问题，攻击类流量仅占总流量的一小部分，导致模型性能产生偏差。
• 绝大多数数据集通过虚拟机或仿真环境收集，降低了其对真实世界网络流量的代表性。
• 尽管异常检测技术有所进步，但基于签名的方法仍占主导地位，因其误报率较低；然而，它们无法检测零日攻击。
• 尽管数据量持续增长，针对动态网络数据的可扩展和增量式机器学习模型的研究仍显不足。
• 基于云和边缘计算的集成正在兴起但尚未充分探索，尤其是在实时流式入侵检测方面。
• 目前缺乏公开可用、从真实世界消费者和企业网络中收集的标注网络流量数据。