[论文解读] ZYELL-NCTU NetTraffic-1.0: A Large-Scale Dataset for Real-World Network Anomaly Detection

Lei Chen, Shao-En Weng+3 more|arXiv (Cornell University)|Mar 8, 2021

Network Security and Intrusion Detection参考文献 2被引用 6

一句话总结

ZYELL-NCTU NetTraffic-1.0 是一个大规模、真实世界网络流量数据集，直接从生产网络中的防火墙日志中收集，旨在推动入侵检测研究。该数据集保留了原始的流量特征，未进行IP匿名化处理，从而能够更准确、更及时地用于异常检测模型的训练与评估，实现真实环境下的研究。

ABSTRACT

Network security has been an active research topic for long. One critical issue is improving the anomaly detection capability of intrusion detection systems (IDSs), such as firewalls. However, existing network anomaly datasets are out of date (i.e., being collected many years ago) or IP-anonymized, making the data characteristics differ from today's network. Therefore, this work introduces a new, large-scale, and real-world dataset, ZYELL-NCTU NetTraffic-1.0, which is collected from the raw output of firewalls in a real network, with the objective to advance the development of network security researches.

研究动机与目标

• 解决异常检测研究中缺乏最新、真实世界网络流量数据集的问题。
• 提供一个从实际生产防火墙日志中收集的大规模数据集，以反映当前的网络行为。
• 克服现有数据集过时或经过IP匿名化处理的局限性，这些处理方式会扭曲流量特征。
• 通过提供真实环境下的训练与评估数据，支持更准确、更鲁棒的入侵检测系统（IDS）的开发。
• 通过提供公开可用、高保真度的数据集，推动网络安全部、机器学习和人工智能领域的研究。

提出的方法

• 直接从真实组织网络中的生产防火墙收集原始网络流量数据。
• 保留原始IP地址和网络元数据，以维持真实的流量特征。
• 将数据聚合并结构化为适合机器学习和安全分析的标准化格式。
• 在确保数据完整性和隐私合规性的同时，保持其对研究的实用性。
• 以宽松许可协议发布数据集，以鼓励广泛采用和研究可复现性。
• 提供详细的文档、元数据和示例数据，以支持研究中的有效使用。

实验结果

研究问题

• RQ1 从实际防火墙日志中直接收集的大规模真实世界网络流量数据集，能否提升异常检测模型的性能？
• RQ2 现代生产环境中真实的网络行为与旧版经过匿名化处理的数据集中的行为有何不同？
• RQ3 原始的、未经匿名化的网络数据在多大程度上能增强入侵检测系统的训练与评估？
• RQ4 现有基准数据集中缺失的当前真实世界网络流量的关键特征是什么？
• RQ5 公开可用的高保真度数据集如何加速网络安全部和机器学习研究的创新？

主要发现

• ZYELL-NCTU NetTraffic-1.0 是首个直接从实际防火墙日志中收集、且未进行IP匿名化的大型真实世界网络异常检测数据集。
• 该数据集以高保真度捕捉了当前的网络行为，真实反映了现代的流量模式和协议。
• 该数据集已公开发布，可供研究使用，支持网络安全部和机器学习领域中的可复现研究。
• 通过保留原始IP地址和网络元数据，该数据集使真实世界异常的建模更加准确。
• 该数据集支持入侵检测、异常检测和网络行为分析等高级研究。
• 该数据集的发布通过提供一个现代、真实的评估基准，填补了网络安全部研究中的关键空白。