[論文レビュー] TrafficGPT: Breaking the Token Barrier for Efficient Long Traffic Analysis and Generation

Jian Qu, Xiaobo Ma+1 more|arXiv (Cornell University)|Mar 9, 2024

Software-Defined Networks and 5G被引用数 8

ひとこと要約

TrafficGPT は、直線注意機構を用いて長いトラフィックフロー分類と現実的なトラフィック生成に対応するため、最大 12,032 トークンまで処理可能な Transformer モデルを事前学習します。pcap からトークンへの可逆的なトークン化とトークンからの復元を含みます。

ABSTRACT

Over the years, network traffic analysis and generation have advanced significantly. From traditional statistical methods, the field has progressed to sophisticated deep learning techniques. This progress has improved the ability to detect complex patterns and security threats, as well as to test and optimize network performance. However, obstacles persist, such as the dependence on labeled data for analysis and the difficulty of generating traffic samples that follow realistic patterns. Pre-trained deep neural networks have emerged as powerful tools to resolve these issues, offering improved performance by learning robust data representations from large unlabeled datasets. Despite their benefits, existing pre-trained models face challenges like token length limitation, which restricts their usefulness in comprehensive traffic analysis and realistic traffic generation. To address these challenges, we introduce TrafficGPT, a deep learning model that can tackle complex challenges related to long flow classification and generation tasks. This model uses generative pre-training with the linear attention mechanism, which allows for a substantially increased capacity of up to 12,032 tokens from the previous limit of only 512 tokens. TrafficGPT demonstrates superior performance in classification tasks, reaching state-of-the-art levels. In generation tasks, it closely resembles real traffic flows, with low JS divergence and an F1 score close to 0.5 (representing a random guess) in discriminating generated data. These advancements hold promise for future applications in both traffic flow classification and generation tasks.

研究の動機と目的

• トラフィック分析と生成のための事前学習モデルにおけるトークン長の制限に対処する。
• トークン列から直接 pcap ファイルを生成する可逆的なトークン表現を開発する。
• 生成型事前学習を通じて長い文脈のトラフィック分類と現実的なトラフィック生成を可能にする。

提案手法

• 標準の2次自己注意の代わりに線形注意を用いて、最大 12,032 トークンを有効にする。
• pcap ファイルとトークン列の間をマッピングする可逆的なトークン表現を開発する。
• ラベルなしトラフィックデータに対する自己回帰型事前学習を採用して堅牢な表現を得る。
• 時間間隔と16進ペイロード表現を含むフロー指向のトークン化を実装する。
• 最大260クラスのフロー分類のために [cls] トークンで微調整する。より多くのクラスには複数トークンを使用する。

実験結果

リサーチクエスチョン

• RQ1 Can TrafficGPT achieve state-of-the-art performance in traffic flow classification across diverse datasets?
• RQ2 Does increasing token length improve classification and generation quality for long traffic sequences?
• RQ3 Can a reversible token representation enable direct reconstruction of pcap files from token streams?
• RQ4 How realistic are TrafficGPT-generated traffic flows compared with real traffic across packet headers and flow features?

主な発見

• TrafficGPT (12k) は複数のデータセットで最先端の Macro F1 を達成し、従来の事前学習モデルに比べて平均約2%の改善を示す。
• Longer token lengths (12k) generally improve performance, with notable gains on the Cross-Platform Android dataset.
• TrafficGPT は平均パケットヘッダ JSD を 0.1605、フローフィーチャー JSD を 0.2396 達成し、特に 12k トークンで現実的なトラフィック生成を示している。
• Discriminator-based evaluation yields a flow-discrimination F1 of 0.6683, showing generated flows are challenging to distinguish from real traffic.
• A reversible token representation enables direct reconstruction of pcap files from token sequences, addressing the reconstruction challenge.