[논문 리뷰] Nethira: A Heterogeneity-aware Hierarchical Pre-trained Model for Network Traffic Classification
Nethira는 네트워크 트래픽 분류를 위한 이질성 인식 계층적 사전 학습 모델을 도입하고, 다단 재구성 및 일관성 정규화 미세 조정을 통해 제한된 라벨 데이터에서도 성능을 발휘합니다.
Network traffic classification is vital for network security and management. The pre-training technology has shown promise by learning general traffic representations from raw byte sequences, thereby reducing reliance on labeled data. However, existing pre-trained models struggle with the gap between traffic heterogeneity (i.e., hierarchical traffic structures) and input homogeneity (i.e., flattened byte sequences). To address this gap, we propose Nethira, a heterogeneity-aware pre-trained model based on hierarchical reconstruction and augmentation. In pre-training, Nethira introduces hierarchical reconstruction at multiple levels-byte, protocol, and packet-capturing comprehensive traffic structural information. During fine-tuning, Nethira proposes a consistency-regularized strategy with hierarchical traffic augmentation to reduce label dependence. Experiments on four public datasets demonstrate that Nethira outperforms seven existing pre-trained models, achieving an average F1-score improvement of 9.11%, and reaching comparable performance with only 1% labeled data on high-heterogeneity network tasks.
연구 동기 및 목표
- 트래픽 이질성에도 불구하고 입력 형식이 동질한 상태에서 네트워크 트래픽 분류를 개선하려는 동기 부여.
- 바이트, 프로토콜, 패킷의 계층적 트래픽 구조를 포착하는 사전 학습 과제 개발.
- 계층적 증강 및 일관성 정규화를 통한 미세 조정 전략 제안.
- 계층적 사전 학습과 증강이 데이터 세트 및 데이터-레이블 제약 하에서 우수한 성능을 낳는다는 것을 입증.
제안 방법
- 원시 트래픽을 모델 입력으로 사용하기 위해 평평한 바이트 시퀀스로 변환합니다.
- 바이트, 프로토콜, 패킷 수준에서 계층적 재구성을 사전 학습 중 Transformer 인코더-디코더를 사용하여 수행합니다.
- 바이트 수준, 프로토콜 수준, 패킷 수준의 세 가지 재구성 손실을 사용하여 표현 학습을 안내합니다 (L_byte, L_protocol, L_packet).
- 사전 학습 목표 L_P는 세 가지 재구성 손실의 합입니다 (L_byte + L_protocol + L_packet).
- 일관성 정규화된 다중 수준 트래픽 증강(프로토콜 수준 및 패킷 수준)을 사용하여 이질적 입력에서 안정적인 예측을 보장하도록 미세 조정합니다 (L_sup + lambda * L_cons).
실험 결과
연구 질문
- RQ1계층적 재구성이 평면화된 바이트 표현을 넘는 트래픽 이질성을 포착할 수 있는가?
- RQ2일관성 정규화를 갖춘 계층적 증강이 이질적 트래픽 작업에서 일반화 성능을 향상시키는가?
- RQ3다수의 공용 데이터셋에서 기존의 사전 학습 모델에 비해 Nethira의 성능은 어떠한가?
- RQ4제한된 라벨 데이터(예: 1%–10%)를 사용할 때 데이터 효율성 향상은 어느 정도인가?
주요 결과
- Nethira는 평균 F1이 9.11% 포인트 향상되며 7개의 사전 학습 기준 모델을 능가합니다.
- 네 데이터세트에서 Nethira는 Baselines 대비 App에서 11.49%, Service에서 5.36%, USTC-TFC에서 1.52%, CIC-IoT에서 18.05%의 F1을 더 달성합니다.
- 단 1%의 라벨 데이터로도 Nethira는 CIC-IoT F1 0.9452를 달성하며, 전체 라벨로 학습된 일부 모델과 동등하거나 더 우수합니다.
- 계층적 재구성 없이 사전 학습은 성능을 4.78% 포인트 감소시키고, L_byte만 사용하는 경우 1.71% 감소하며, 증강 없이 미세 조정하면 7.84% 감소합니다.
- 제약된 라벨 하에서 CIC-IoT 데이터셋은 패킷 수준 이질성이 높아 강력한 이득을 보이며(ANPF 관련 효과).
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.