[論文レビュー] NetGPT: Generative Pretrained Transformer for Network Traffic

Xuying Meng, Chungang Lin+2 more|arXiv (Cornell University)|Apr 19, 2023

Internet Traffic Analysis and Secure E-voting被引用数 18

ひとこと要約

NetGPT は、マルチパターンのトラフィックを統一された意味空間にエンコードし、プロンプトとヘッダシャッフリングを用いて下流タスクへ適応することにより、トラフィック理解と生成の両方をサポートする最初の事前学習モデルです。

ABSTRACT

All data on the Internet are transferred by network traffic, thus accurately modeling network traffic can help improve network services quality and protect data privacy. Pretrained models for network traffic can utilize large-scale raw data to learn the essential characteristics of network traffic, and generate distinguishable results for input traffic without considering specific downstream tasks. Effective pretrained models can significantly optimize the training efficiency and effectiveness of downstream tasks, such as application classification, attack detection and traffic generation. Despite the great success of pretraining in natural language processing, there is no work in the network field. Considering the diverse demands and characteristics of network traffic and network tasks, it is non-trivial to build a pretrained model for network traffic and we face various challenges, especially the heterogeneous headers and payloads in the multi-pattern network traffic and the different dependencies for contexts of diverse downstream network tasks. To tackle these challenges, in this paper, we make the first attempt to provide a generative pretrained model NetGPT for both traffic understanding and generation tasks. We propose the multi-pattern network traffic modeling to construct unified text inputs and support both traffic understanding and generation tasks. We further optimize the adaptation effect of the pretrained model to diversified tasks by shuffling header fields, segmenting packets in flows, and incorporating diverse task labels with prompts. With diverse traffic datasets from encrypted software, DNS, private industrial protocols and cryptocurrency mining, expensive experiments demonstrate the effectiveness of our NetGPT in a range of traffic understanding and generation tasks on traffic datasets, and outperform state-of-the-art baselines by a wide margin.

研究の動機と目的

• 多様なパターンとタスクを扱えるネットワークトラフィックの普遍的な事前学習モデルの必要性を動機づける。
• タスクラベルなしで intrinsic traffic characteristics を学習する一般的なエンコーディングと事前学習パイプラインを開発する。
• ファインチューニング戦略とプロンプトを通じて、下流タスク（分類、攻撃検知、トラフィック生成）への効率的な適応を可能にする。

提案手法

• 各バイトを16進表記に変換し、WordPieceに類似した語彙を持つトークナイザーを用いて、マルチパターンのトラフィックを一般的にエンコードする。
• GPT-2 をベースとした自己回帰型事前学習で、トラフィック系列における次のトークン確率を学習する。
• 多様なネットワークからのラベルなしデータを用いて統一された意味空間を学習する。
• ヘッダーフィールドのシャッフル、フロー内のパケット分割、プロンプトベースのタスクラベリングを通じて適応を高めるファインチューニング。
• トラフィック理解は、分類タスクをテキスト対テキスト問題として統一するために、プロンプトを用いた生成スタイルの定式化を用いる。
• トラフィック生成は、実トラフィックに対する Jensen-Shannon Divergence を用いて忠実度を評価し、ヘッダーフィールド分布を分析する。）

実験結果

リサーチクエスチョン

• RQ1 単一の事前学習モデルが、タスク固有のラベルなしで、プレーンテキストおよび暗号化を含む多様なネットワークトラフィックパターンの内在的特徴を捉えることができるか？
• RQ2 ヘッダーフィールドのシャッフル、フロー単位のパケット分割、プロンプトといったファインチューニング戦略が、トラフィック理解と生成のタスクの両方で性能をどのように向上させるか？
• RQ3 実世界データセットに対して、NetGPT が分類/検知とトラフィック生成の両方でタスク固有のベースラインをどの程度上回ることができるか？
• RQ4 生成されたトラフィックがヘッダーフィールド分布を実トラフィックと比較してどの程度忠実か？

主な発見

• NetGPT およびその変種 NetGPT-A は、パケットレベルおよびフロー レベルの設定を通じて、トラフィック理解タスクで高い性能を達成する。
• NetGPT は GPT-2 ベースラインを上回り、ET-BERT に対して競争力のある結果を示し、特にパケットレベルタスクおよび特定のフロー レベル設定で利益を示す。
• ヘッダーフィールドのシャッフルとフロー内のパケット分割は下流の性能を改善する一方、過剰なエポックは過学習につながる。
• トラフィック生成では、NetGPT はいくつかのデータセットで GPT-2 より低い Jensen-Shannon Divergence を示し、実トラフィック分布への忠実性が高いことを示している。
• NetGPT は未知データセット（Cybermining）への強い一般化を示し、多様なデータセット（ISXW、DoHBrw、USTCTFC、PrivII）に対して頑健性を維持する。
• アブレーション研究は、全体的な改善のためにヘッダーフィールドのシャッフルとパケット分割の両方の重要性を示している。