[論文レビュー] One Train for Two Tasks: An Encrypted Traffic Classification Framework Using Supervised Contrastive Learning

Haozhen Zhang, Xi Xiao+4 more|arXiv (Cornell University)|Feb 12, 2024

Internet Traffic Analysis and Secure E-voting被引用数 5

ひとこと要約

CLE-TFE は、監督付き対比学習と横断レベルのマルチタスク訓練を用いて、パケットレベルとフローレベルの暗号化トラフィック分類を統合的に実行するモデルで、以前の事前学習モデルよりオーバーヘッドを抑えつつ性能が優れている。

ABSTRACT

As network security receives widespread attention, encrypted traffic classification has become the current research focus. However, existing methods conduct traffic classification without sufficiently considering the common characteristics between data samples, leading to suboptimal performance. Moreover, they train the packet-level and flow-level classification tasks independently, which is redundant because the packet representations learned in the packet-level task can be exploited by the flow-level task. Therefore, in this paper, we propose an effective model named a Contrastive Learning Enhanced Temporal Fusion Encoder (CLE-TFE). In particular, we utilize supervised contrastive learning to enhance the packet-level and flow-level representations and perform graph data augmentation on the byte-level traffic graph so that the fine-grained semantic-invariant characteristics between bytes can be captured through contrastive learning. We also propose cross-level multi-task learning, which simultaneously accomplishes the packet-level and flow-level classification tasks in the same model with one training. Further experiments show that CLE-TFE achieves the best overall performance on the two tasks, while its computational overhead (i.e., floating point operations, FLOPs) is only about 1/14 of the pre-trained model (e.g., ET-BERT). We release the code at https://github.com/ViktorAxelsen/CLE-TFE

研究の動機と目的

• 暗号化トラフィックサンプル全体で、表現の頑健性を向上させる共通かつラベル情報を含む特徴を特定する。
• 冗長な学習を削減するため、パケットレベルとフローレベルの分類を共同で学習できる単一モデルを開発する。
• バイトレベルのトラフィックグラフのグラフベースの拡張を活用して、細かな意味論的不変情報を捉える。
• 横断レベルの監督付き対比学習がパケットレベルとフローレベルの双方のタスクを改善することを示す。
• ISCX VPN/非VPN および Tor/非Tor データセットにおいて、最新のフロー レベルとパケットレベルのベースラインと比較して、効率と性能を評価する。

提案手法

• 対比学習モジュールと横断レベルのマルチタスク学習モジュールを追加して、Temporal Fusion Encoder (TFE-GNN) 上に CLE-TFE を構築する。
• パケットレベルの対比学習のために、バイトレベルのトラフィックグラフにノード・エッジ削除などのグラフデータ拡張を適用する。
• フロー内のパケットをランダムに削除することでフロー レベルの拡張を行い、フロー レベルの対比学習を行う。
• 同じラベルを持つサンプルをパケットレベルとフロー レベルの表現で結びつけるために、監督付き対比損失を用いる。
• 同じモデル内でパケットレベルとフロー レベルの分類ヘッドを同時に訓練し、横断レベルの関係を活用する（1 回の訓練）。
• 結合損失で最適化する: L = L_PCLS + L_FCLS + α L_PCL + β L_FCL, ここで α, β は対比項の寄与を調整する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: CLE-TFE はパケットレベルおよびフロー レベルの暗号化トラフィック分類タスクでどのように性能を発揮しますか？
• RQ2 RQ2: 各 CLE-TFE モジュールは全体の性能にどれだけ寄与しますか（アブレーション分析）？
• RQ3 RQ3: 埋め込み空間における学習済みのパケットレベルおよびフロー レベル表現はどれだけ識別的ですか？
• RQ4 RQ4: 従来手法と比較したとき、CLE-TFE の計算コストはどれくらいですか？
• RQ5 RQ5: CLE-TFE はハイパーパラメータにどれだけ敏感ですか？

主な発見

モデル	VPN_ACC	VPN_PR	VPN_RC	VPN_F1	非VPN_ACC	非VPN_PR	非VPN_RC	非VPN_F1	Tor_ACC	Tor_PR	Tor_RC	Tor_F1	NonTor_ACC	NonTor_PR	NonTor_RC	NonTor_F1
CLE-TFE	0.9813	0.9771	0.9762	0.9761	0.9286	0.9396	0.9391	0.9389	1.0000	1.0000	1.0000	1.0000	0.9554	0.9009	0.9019	0.8994
TFE-GNN	0.9390	0.8742	0.8335	0.8507	0.?,	0.?,	0.?,	0.?,	0.?,	0.?,	0.?,	0.?,	0.?,	0.?
ET-BERT	0.9029	0.8560	0.8217	0.8332	0.9029	0.8560	0.8217	0.8332	0.9029	0.8560	0.8217	0.8332	0.9029	0.8560	0.8217	0.8332

• CLE-TFE は ISCX VPN-非 VPN および Tor-非 Tor データセットの両方において、パケットレベルとフロー レベルのタスクで全体的に最良の結果を達成した。
• TFE-GNN と比較して、CLE-TFE は性能を向上させ（ISCX-VPN で 2.4%、ISCX-nonTor で 5.7%）、FLOPsをほぼ半分に削減した。
• パケットレベルおよびフロー レベルの監督付き対比学習と横断レベルの訓練を組み合わせることで、アブレーション版より両タスクの性能が著しく改善された。
• フロー レベルの分類では、CLE-TFE が伝統的手法を大幅に上回り、ET-BERT などの深層学習ベースラインと同等または優位でありながら、計算負荷を低く抑える。
• アブレーション研究では、パケットレベルまたはフロー レベルの対比損失のいずれか、あるいはそれぞれの分類損失を除くと性能が低下することが示され、対比と監督信号の双方の利益が確認された。
• CLE-TFE は拡張に対して頑健であり、パケットレベルのヘッダ/ペイロードのグラフ拡張が F1 スコアの向上に寄与し、フロー レベルのパケット削除が表現をさらに安定化させる。