[论文解读] Nethira: A Heterogeneity-aware Hierarchical Pre-trained Model for Network Traffic Classification
Nethira 引入了一种面向异质性的层级预训练模型,通过多级重建和一致性正则化微调,在有限标注数据下实现卓越性能。
Network traffic classification is vital for network security and management. The pre-training technology has shown promise by learning general traffic representations from raw byte sequences, thereby reducing reliance on labeled data. However, existing pre-trained models struggle with the gap between traffic heterogeneity (i.e., hierarchical traffic structures) and input homogeneity (i.e., flattened byte sequences). To address this gap, we propose Nethira, a heterogeneity-aware pre-trained model based on hierarchical reconstruction and augmentation. In pre-training, Nethira introduces hierarchical reconstruction at multiple levels-byte, protocol, and packet-capturing comprehensive traffic structural information. During fine-tuning, Nethira proposes a consistency-regularized strategy with hierarchical traffic augmentation to reduce label dependence. Experiments on four public datasets demonstrate that Nethira outperforms seven existing pre-trained models, achieving an average F1-score improvement of 9.11%, and reaching comparable performance with only 1% labeled data on high-heterogeneity network tasks.
研究动机与目标
- 在同质输入形式下仍然存在流量异质性时,推动改进的网络流量分类。
- 开发一个能够捕捉层级流量结构(字节、协议、数据包)的预训练任务。
- 提出带有层级增强和一致性正则化的微调策略。
- 证明层级预训练结合增强在多数据集和不同数据-标签情形下具有更优的性能。
提出的方法
- 将原始流量转换为扁平化的字节序列作为模型输入。
- 在字节、协议和数据包层级进行层级重建,使用 Transformer 编解码器进行预训练。
- 使用三种重建损失:字节级、协议级和数据包级来引导表征学习(L_byte、L_protocol、L_packet)。
- 预训练目标 L_P 等于三种重建损失之和(L_byte + L_protocol + L_packet)。
- 通过带有一致性正则化的多层级流量增强进行微调(协议级和数据包级),以在异质输入上实现稳定预测(L_sup + lambda * L_cons)。
实验结果
研究问题
- RQ1层级重建是否能捕捉超越扁平字节表示的流量异质性?
- RQ2带有一致性正则化的层级增强是否改善对异质流量任务的泛化?
- RQ3Nethira 相较于现有的预训练模型在多个公开数据集上的表现如何?
- RQ4使用有限标注数据(如 1%–10%)时的数据效率提升是多少?
主要发现
- Nethira 在七个预训练基线之上实现平均 F1 提升 9.11%。
- 在四个数据集上,Nethira 相对于基线在 F1 上分别提升 11.49%(App)、5.36%(Service)、1.52%(USTC-TFC)、以及 18.05%(CIC-IoT)。
- 仅用 1% 标注数据,Nethira 达到 CIC-IoT 的 F1 为 0.9452,达到或超过一些使用全标注训练的模型。
- 消融实验显示若不进行层级重建的预训练,性能下降 4.78%;仅使用 L_byte 时下降 1.71%;无增强的微调下降 7.84%。
- 在有限标签条件下,Nethira 的 CIC-IoT 数据集显示出显著提升,原因是数据包层级异质性较高(与 ANPF 相关效应)。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。