[论文解读] TrafficGPT: Breaking the Token Barrier for Efficient Long Traffic Analysis and Generation

Jian Qu, Xiaobo Ma+1 more|arXiv (Cornell University)|Mar 9, 2024

Software-Defined Networks and 5G被引用 8

一句话总结

TrafficGPT 预训练了一个具有线性注意力的 Transformer 模型，能够处理多达 12,032 个 tokens，用于长交通流分类和真实交通生成，包括从 pcap 到 tokens 的可逆分词及回译。

ABSTRACT

Over the years, network traffic analysis and generation have advanced significantly. From traditional statistical methods, the field has progressed to sophisticated deep learning techniques. This progress has improved the ability to detect complex patterns and security threats, as well as to test and optimize network performance. However, obstacles persist, such as the dependence on labeled data for analysis and the difficulty of generating traffic samples that follow realistic patterns. Pre-trained deep neural networks have emerged as powerful tools to resolve these issues, offering improved performance by learning robust data representations from large unlabeled datasets. Despite their benefits, existing pre-trained models face challenges like token length limitation, which restricts their usefulness in comprehensive traffic analysis and realistic traffic generation. To address these challenges, we introduce TrafficGPT, a deep learning model that can tackle complex challenges related to long flow classification and generation tasks. This model uses generative pre-training with the linear attention mechanism, which allows for a substantially increased capacity of up to 12,032 tokens from the previous limit of only 512 tokens. TrafficGPT demonstrates superior performance in classification tasks, reaching state-of-the-art levels. In generation tasks, it closely resembles real traffic flows, with low JS divergence and an F1 score close to 0.5 (representing a random guess) in discriminating generated data. These advancements hold promise for future applications in both traffic flow classification and generation tasks.

研究动机与目标

• 解决用于交通分析与生成的预训练模型的令牌长度限制。
• 开发一个可逆的令牌表示，以直接从令牌序列生成 pcap 文件。
• 通过生成式预训练实现长上下文交通分类和真实交通生成。

提出的方法

• 使用线性注意力替代标准的二次自注意力，以支持多达 12,032 个 tokens。
• 开发一个可逆的令牌表示，用于在 pcap 文件和令牌序列之间映射。
• 在未标注的交通数据上采用自回归预训练，以获得鲁棒的表示。
• 实现以流为中心的分词，包括时间间隔和十六进制载荷表示。
• 使用 [cls] token 进行流分类并在多达 260 类之间微调；对于更多类别，使用多个 token。

实验结果

研究问题

• RQ1 TrafficGPT 是否能在多样化数据集上实现交通流分类的 state-of-the-art 性能？
• RQ2 增加令牌长度是否会提升对长序列交通的分类和生成质量？
• RQ3 可逆的令牌表示是否可以直接从令牌流重建 pcap 文件？
• RQ4 与真实流量相比，TrafficGPT 生成的流量在数据包头信息和流特征上有多真实？

主要发现

• TrafficGPT（12k）在多个数据集上实现宏 F1 的最先进水平，较先前的预训练模型平均提升约 2%。
• 更长的令牌长度（12k）通常会提升性能，在 Cross-Platform Android 数据集上尤其有显著提升。
• TrafficGPT 的平均数据包头 JSD 为 0.1605，流特征 JSD 为 0.2396，表明在 12k 令牌时生成的流量具有较高的现实性。
• 基于判别器的评估给出流量判别 F1 为 0.6683，表明生成的流量很难与真实流量区分。
• 可逆的令牌表示使得能够直接从令牌序列重建 pcap 文件，解决了重建的挑战。