[论文解读] Deep Learning and Traffic Classification: Lessons learned from a commercial-grade dataset with hundreds of encrypted and zero-day applications

Lixuan Yang, Alessandro Finamore+2 more|arXiv (Cornell University)|Apr 7, 2021

Internet Traffic Analysis and Secure E-voting参考文献 63被引用 5

一句话总结

本文提出 GradBP，一种基于深度学习的新型零日流量检测技术，利用梯度反向传播识别未知应用，具有高精度和低计算成本。在包含数千个应用标签的商用级数据集上评估，GradBP 在检测近 80% 的零日流量方面优于最先进方法，速度超过 10 倍，且无需重新训练或架构修改。

ABSTRACT

The increasing success of Machine Learning (ML) and Deep Learning (DL) has recently re-sparked interest towards traffic classification. While classification of known traffic is a well investigated subject with supervised classification tools (such as ML and DL models) are known to provide satisfactory performance, detection of unknown (or zero-day) traffic is more challenging and typically handled by unsupervised techniques (such as clustering algorithms). In this paper, we share our experience on a commercial-grade DL traffic classification engine that is able to (i) identify known applications from encrypted traffic, as well as (ii) handle unknown zero-day applications. In particular, our contribution for (i) is to perform a thorough assessment of state of the art traffic classifiers in commercial-grade settings comprising few thousands of very fine grained application labels, as opposite to the few tens of classes generally targeted in academic evaluations. Additionally, we contribute to the problem of (ii) detection of zero-day applications by proposing a novel technique, tailored for DL models, that is significantly more accurate and light-weight than the state of the art. Summarizing our main findings, we gather that (i) while ML and DL models are both equally able to provide satisfactory solution for classification of known traffic, however (ii) the non-linear feature extraction process of the DL backbone provides sizeable advantages for the detection of unknown classes.

研究动机与目标

• 为弥合学术流量分类研究与真实商业需求之间的差距，特别是在处理大规模、加密和零日应用方面。
• 评估监督式机器学习与深度学习模型在包含数千个应用标签的商用级数据集上的性能，远超典型学术基准。
• 设计并验证一种专为深度学习模型量身定制的新型零日检测技术 GradBP，兼具高准确率与高效率。
• 证明当深度学习模型结合 GradBP 时，在检测未知（零日）流量方面显著优于传统机器学习模型。
• 探索可部署性挑战，如增量学习、模型可解释性以及在生产环境中实时推理的实现。

提出的方法

• GradBP 利用训练好的深度学习模型最后一层的梯度反向传播来评估输入的新颖性：梯度越大，表示越可能是零日流量。
• 该方法在推理过程中计算损失相对于输入的梯度，无需额外训练或模型修改。
• 其重点在于从最后一层开始的第一步反向传播，以在检测准确率与计算效率之间取得平衡。
• 该技术在包含数百个加密和零日应用的真实大规模数据集上，与四种最先进零日检测方法进行对比评估。
• 评估采用一维卷积神经网络（1D-CNN）作为流量分类的主干模型，基于时间序列数据包大小特征进行训练。
• GradBP 设计为可增量更新且轻量化，适用于线速、实时网络监控系统的部署。

实验结果

研究问题

• RQ1 当在包含数千个应用标签的大规模商用级数据集上训练时，监督式机器学习与深度学习模型在已知流量分类上的表现如何比较？
• RQ2 基于梯度的方法（如 GradBP）是否能在准确率和效率方面优于现有的无监督或启发式零日检测技术？
• RQ3 通过多层反向传播对零日检测性能和计算成本有何影响？
• RQ4 GradBP 如何在显著快于其他方法的同时保持高检测准确率？
• RQ5 GradBP 在无需重新训练或架构更改的情况下，能在多大程度上集成到真实世界部署流水线中？

主要发现

• GradBP 检测到近 80% 的零日流量，而次佳方法仅检测到不足 11%。
• GradBP 的速度超过同类最先进零日检测技术 10 倍以上，适合实时部署。
• 该方法在计算开销极小的情况下实现卓越准确率，因其轻量化程度与 SoftMax 层相当。
• 通过超过一层的反向传播会使检测准确率降低近 10%，延迟增加约 4 倍，表明聚焦于最后一层为最优方案。
• 尽管在已知流量分类上表现相似，但配备 GradBP 的深度学习模型在检测未知应用方面显著优于传统机器学习模型。
• 本研究证实，深度学习模型的非线性特征提取能力在零日检测方面相比传统机器学习模型具有显著优势。