[论文解读] Extensible Machine Learning for Encrypted Network Traffic Application Labeling via Uncertainty Quantification

Steven M. Jorgensen, John T. Holodnak+7 more|arXiv (Cornell University)|May 11, 2022

Internet Traffic Analysis and Secure E-voting被引用 5

一句话总结

本文提出了一种新颖的机器学习框架，用于通过不确定性量化检测分布外（OOD）流量，对加密网络流量进行分类。通过结合小波特征、基于相对马氏距离的原型网络，以及经过校准的p值进行OOD检测，该模型在包含10个应用、5个类别的公开新数据集上实现了0.98的F1分数，同时有效标记出新型流量以支持模型再训练。

ABSTRACT

With the increasing prevalence of encrypted network traffic, cyber security analysts have been turning to machine learning (ML) techniques to elucidate the traffic on their networks. However, ML models can become stale as new traffic emerges that is outside of the distribution of the training set. In order to reliably adapt in this dynamic environment, ML models must additionally provide contextualized uncertainty quantification to their predictions, which has received little attention in the cyber security domain. Uncertainty quantification is necessary both to signal when the model is uncertain about which class to choose in its label assignment and when the traffic is not likely to belong to any pre-trained classes. We present a new, public dataset of network traffic that includes labeled, Virtual Private Network (VPN)-encrypted network traffic generated by 10 applications and corresponding to 5 application categories. We also present an ML framework that is designed to rapidly train with modest data requirements and provide both calibrated, predictive probabilities as well as an interpretable "out-of-distribution" (OOD) score to flag novel traffic samples. We describe calibrating OOD scores using p-values of the relative Mahalanobis distance. We demonstrate that our framework achieves an F1 score of 0.98 on our dataset and that it can extend to an enterprise network by testing the model: (1) on data from similar applications, (2) on dissimilar application traffic from an existing category, and (3) on application traffic from a new category. The model correctly flags uncertain traffic and, upon retraining, accurately incorporates the new data.

研究动机与目标

• 解决从未知或新型应用中分类加密且经VPN保护的网络流量的挑战。
• 开发一种机器学习模型，为分布内和分布外流量提供校准的预测概率和可解释的不确定性评分。
• 创建一个公开的、标注的10个应用和5种类别的数据集，以支持加密流量分类研究。
• 通过标记不确定预测并支持对新数据的增量再训练，实现实时模型适应。
• 将特征工程、模型架构与不确定性量化整合为一个统一、稳健的网络安全部署流水线。

提出的方法

• 该框架使用原型网络，基于嵌入空间中样本到类原型的距离计算类别概率。
• 对正向和反向连接大小应用离散小波变换（DWT），提取包括相对小波能量、香农熵以及细节系数的绝对均值和标准差在内的特征。
• 使用相对马氏距离衡量样本与类原型的距离，并从其分布中推导出p值以量化不确定性。
• 通过相对马氏距离的p值量化不确定性，实现校准的OOD检测。
• 模型在包含10个应用（如Netflix、SSH、VoIP）和5种类别的新公开数据集上进行训练，使用时间分箱的包统计量和小波特征。
• 流水线包括信号反射，以确保向量长度为2的幂，特征在40.96秒的时间窗口内计算，时间分箱为10ms。

实验结果

研究问题

• RQ1 机器学习模型是否能在实现高分类准确率的同时，为新型或分布外样本提供可靠的不确定性估计？
• RQ2 经过校准的p值下，相对马氏距离在检测加密网络流中的分布外流量方面有多高效？
• RQ3 在企业环境中，一个在有限标注数据集上训练的模型，能在多大程度上泛化到相似、不相似或全新的应用类别？
• RQ4 小波特征与时间分箱包统计量在捕捉加密流量中的判别性模式方面表现如何？
• RQ5 当出现新型流量类别时，模型的不确定性评分是否能有效指导再训练？

主要发现

• 该模型在提出的10个应用、5种类别的公开数据集上实现了0.98的F1分数，证明了其高分类准确率。
• 该模型通过校准的不确定性评分成功标记出分布外流量，实现了对训练集中未包含的新应用的检测。
• 在测试相似应用、现有类别中的不相似流量以及完全新型类别的场景下，模型能正确识别不确定性，并在再训练后实现适应。
• 选择的配置∆t = 0.01s 和 T = 40.96s 在保持可管理的特征向量长度的同时，实现了接近最大准确率。
• 使用小波特征，特别是相对小波能量和香农熵，显著增强了对加密流量的判别能力。
• 通过相对马氏距离的p值实现不确定性量化，使低置信度预测和新型流量的可靠检测成为可能。