[论文解读] Automated Big Traffic Analytics for Cyber Security

Yuantian Miao, Zichan Ruan+4 more|arXiv (Cornell University)|Apr 24, 2018

Network Security and Intrusion Detection被引用 6

一句话总结

本文提出了一种用于网络安全部署的自动化大规模流量分析框架，采用基于统计流的分类方法、混合无监督与有监督学习，以及相关性分析，以应对大数据环境下实时、未知且高效的流量分类挑战。该方法通过提升分类器的鲁棒性并减少人工干预，增强了对入侵、恶意软件和僵尸网络的检测能力。

ABSTRACT

Network traffic analytics technology is a cornerstone for cyber security systems. We demonstrate its use through three popular and contemporary cyber security applications in intrusion detection, malware analysis and botnet detection. However, automated traffic analytics faces the challenges raised by big traffic data. In terms of big data's three characteristics --- volume, variety and velocity, we review three state of the art techniques to mitigate the key challenges including real-time traffic classification, unknown traffic classification, and efficiency of classifiers. The new techniques using statistical features, unknown discovery and correlation analytics show promising potentials to deal with big traffic data. Readers are encouraged to devote to improving the performance and practicability of automatic traffic analytic in cyber security.

研究动机与目标

• 应对网络安全中大规模流量数据带来的挑战，特别是数据量、多样性与高速度问题。
• 通过基于统计流的方法而非基于端口或负载的方法，提升实时网络流量分类的效率。
• 通过结合无监督与有监督学习，实现对未知流量类别的检测，降低对人工标注的依赖。
• 通过使用多关键字流特征（如4元组和5元组）进行相关性分析，提升分类器性能，以捕捉恶意行为模式。
• 缓解训练数据中的类别不平衡问题，以提高对少数恶意流量类别（如RTSP）的检测准确率。

提出的方法

• 采用基于统计的流量分类方法，以流级特征（如数据包数量、字节数量、持续时间等）作为机器学习模型的输入。
• 整合无监督学习（如聚类）以发现未知流量类别，并结合有监督学习实现最小人工干预下的标签化与分类。
• 在流的集合中采用子袋构建机制，通过将同一用户共享的4元组（源/目的IP、端口、协议）的流进行分组，以改进相关性建模。
• 利用包含协议在内的5元组特征进行相关性分析，以检测指示恶意活动的行为模式。
• 实施动态再训练机制，使分类器能够适应新的流量模式，并利用更新数据重新学习已知类别。
• 提出预处理技术以平衡训练数据中的类别分布，尤其针对RTSP等稀有类别与BitTorrent等主导类别相比的情况。

实验结果

研究问题

• RQ1 在高容量、高速度的数据流条件下，如何实现高效的实时网络流量分类？
• RQ2 哪些技术能够有效检测未知流量类别，而无需完全依赖标注数据？
• RQ3 网络流之间的相关性如何提升网络安全应用中流量分类的准确率与鲁棒性？
• RQ4 类别不平衡对分类器性能有何影响？在训练数据中如何缓解该问题？
• RQ5 自动化系统如何在保持对不断演变的网络威胁高检测准确率的同时，减少人工标注的工作量？

主要发现

• 基于统计的流分类在处理加密流量和可变流量方面优于传统的基于端口或负载的方法，尤其在大数据环境下表现更优。
• 结合无监督与有监督学习可实现对未知流量的稳健检测，显著降低对专家标注数据的依赖。
• 子袋构建通过使用4元组特征对用户特定流量进行分组，改善了相关性建模，从而提升了对协同恶意行为的检测能力。
• 利用包含协议在内的5元组特征进行相关性分析，显著提升了分类器性能，能够有效捕捉攻击的行为模式。
• 类别不平衡严重损害分类器的准确率，少数类（如RTSP）的检测率远低于主导类（如BitTorrent）。
• 对训练数据中的类别分布进行预处理以实现平衡，是提升对稀有但关键的恶意流量类型检测性能的必要手段。