[論文レビュー] Nethira: A Heterogeneity-aware Hierarchical Pre-trained Model for Network Traffic Classification

Chungang Lin, Weiyao Zhang+3 more|arXiv (Cornell University)|Jan 30, 2026

Internet Traffic Analysis and Secure E-voting被引用数 0

ひとこと要約

Nethiraは、限定されたラベルデータでの優れた性能を発揮するために、多層再構成と一貫性正則化微調整を用いた、ネットワークトラフィック分類のヘテロジェニティを考慮した階層型事前学習モデルを提案します。

ABSTRACT

Network traffic classification is vital for network security and management. The pre-training technology has shown promise by learning general traffic representations from raw byte sequences, thereby reducing reliance on labeled data. However, existing pre-trained models struggle with the gap between traffic heterogeneity (i.e., hierarchical traffic structures) and input homogeneity (i.e., flattened byte sequences). To address this gap, we propose Nethira, a heterogeneity-aware pre-trained model based on hierarchical reconstruction and augmentation. In pre-training, Nethira introduces hierarchical reconstruction at multiple levels-byte, protocol, and packet-capturing comprehensive traffic structural information. During fine-tuning, Nethira proposes a consistency-regularized strategy with hierarchical traffic augmentation to reduce label dependence. Experiments on four public datasets demonstrate that Nethira outperforms seven existing pre-trained models, achieving an average F1-score improvement of 9.11%, and reaching comparable performance with only 1% labeled data on high-heterogeneity network tasks.

研究の動機と目的

• トラフィックヘテロジェニティにもかかわらず同一入力形態が生じる状況下で、ネットワークトラフィック分類の改善を動機づける。
• 階層的なトラフィック構造（バイト、プロトコル、パケット）を捉える事前学習タスクを開発する。
• 階層的増強と一貫性正則化を組み合わせた微調整戦略を提案する。
• 階層的な事前学習と増強が、データセットとデータラベルの regime において優れた性能を発揮することを示す。

提案手法

• 生データのトラフィックをモデル入力としてフラットなバイト列に変換する。
• Transformerエンコーダ-デコーダを用いて、事前学習時にバイトレベル、プロトコルレベル、パケットレベルの階層的再構成を行う。
• 表現学習を導く3つの再構成損失：バイトレベル L_byte、プロトコルレベル L_protocol、パケットレベル L_packet を使用する。
• 事前学習目的L_Pは3つの再構成損失の和（L_byte + L_protocol + L_packet）である。
• 一貫性正則化を用いた多層トラフィック増強（プロトコルレベルとパケットレベル）で微調整を行い、異種入力間で安定した予測を強制する（L_sup + lambda * L_cons）。

実験結果

リサーチクエスチョン

• RQ1 階層的再構成は平坦化されたバイト表現を超えるトラフィックヘテロゲニティを捉えられるか。
• RQ2 一貫性正則化を伴う階層的増強は異種トラフィックタスクの一般化を改善するか。
• RQ3 Nethiraは複数の公開データセットで既存の事前学習モデルと比較してどうなるか。
• RQ4 限られたラベルデータ（例：1%–10%）を用いた場合のデータ効率の向上はどれくらいか。

主な発見

方法	ISCX-VPN(App) PR	ISCX-VPN(App) RC	ISCX-VPN(App) F1	ISCX-VPN(Service) PR	ISCX-VPN(Service) RC	ISCX-VPN(Service) F1	USTC-TFC PR	USTC-TFC RC	USTC-TFC F1	CIC-IoT PR	CIC-IoT RC	CIC-IoT F1	Avg. F1
FlowPrint	59.04	43.04	44.94	70.21	66.62	64.51	69.76	70.16	68.81	14.73	20.46	15.70	48.49
AppScanner	72.89	53.61	58.03	85.99	75.67	79.13	75.58	57.72	62.77	35.27	23.86	25.45	56.35
FS-Net	49.90	39.96	40.60	71.61	63.63	64.18	90.74	89.66	89.39	37.24	35.39	32.61	56.70
EBSNN	66.07	61.53	62.05	89.84	89.69	89.53	93.48	91.29	90.10	88.92	87.29	85.37	81.76
TFE-GNN	67.20	60.60	61.80	85.97	80.95	82.14	95.91	95.68	95.63	67.05	66.90	64.29	75.97
NetMamba	67.17	58.05	60.32	86.01	78.31	80.27	95.85	94.90	94.83	68.18	70.39	67.55	75.74
YaTC	70.03	58.73	62.33	81.06	78.37	78.06	95.77	94.96	94.87	74.28	75.07	72.36	76.91
PERT	72.16	70.26	70.80	91.42	90.43	90.86	93.24	93.00	92.95	89.58	89.47	88.23	85.71
NetGPT	69.86	71.48	69.40	91.94	92.20	91.92	96.16	95.98	96.00	90.48	90.19	89.08	86.60
ET-BERT	72.00	70.36	70.94	91.40	91.58	91.47	95.21	95.20	95.18	91.29	89.93	88.91	86.63
TraGe	71.38	71.10	70.93	91.75	91.72	91.68	95.94	95.90	95.91	89.02	90.04	88.61	86.78
TrafficFormer	72.32	71.56	71.69	92.15	91.94	91.97	95.17	94.98	95.01	91.25	90.10	89.12	86.95
Nethira	77.33	74.58	75.55	92.35	92.44	92.34	96.62	96.42	96.40	97.26	97.40	97.29	90.40

• Nethiraは7つの事前学習ベースラインを上回り、平均F1を9.11%向上させた。
• 4つのデータセットで、Nethiraはベースラインに対し、それぞれF1を11.49%増（App）、5.36%増（Service）、1.52%増（USTC-TFC）、18.05%増（CIC-IoT）達成。
• ラベル付きデータがわずか1%の場合でも、NethiraはCIC-IoTのF1を0.9452に達し、全ラベルで訓練されたモデルと同等またはそれを超える場合がある。
• アブレーションによると、階層的再構成なしの事前学習は性能を4.78%低下させる；L_byteのみ使用は1.71%の低下；増強なしの微調整は7.84%の低下。
• NethiraのCIC-IoTデータセットは、パケットレベルの高いヘテロゲネイティ性（ANPF関連効果）により、ラベルが限られた場合に大きな利得を示す。