[논문 리뷰] NetGPT: Generative Pretrained Transformer for Network Traffic

Xuying Meng, Chungang Lin외 2명|arXiv (Cornell University)|2023. 04. 19.

Internet Traffic Analysis and Secure E-voting인용 수 18

한 줄 요약

NetGPT는 다중 패턴 트래픽을 단일 의미 공간에 인코딩하고 프롬프트와 헤더 셔플링을 사용하여 다운스트림 작업에 적응함으로써 트래픽 이해와 생성을 모두 지원하는 네트워크 트래픽용 최초의 사전학습 모델입니다.

ABSTRACT

All data on the Internet are transferred by network traffic, thus accurately modeling network traffic can help improve network services quality and protect data privacy. Pretrained models for network traffic can utilize large-scale raw data to learn the essential characteristics of network traffic, and generate distinguishable results for input traffic without considering specific downstream tasks. Effective pretrained models can significantly optimize the training efficiency and effectiveness of downstream tasks, such as application classification, attack detection and traffic generation. Despite the great success of pretraining in natural language processing, there is no work in the network field. Considering the diverse demands and characteristics of network traffic and network tasks, it is non-trivial to build a pretrained model for network traffic and we face various challenges, especially the heterogeneous headers and payloads in the multi-pattern network traffic and the different dependencies for contexts of diverse downstream network tasks. To tackle these challenges, in this paper, we make the first attempt to provide a generative pretrained model NetGPT for both traffic understanding and generation tasks. We propose the multi-pattern network traffic modeling to construct unified text inputs and support both traffic understanding and generation tasks. We further optimize the adaptation effect of the pretrained model to diversified tasks by shuffling header fields, segmenting packets in flows, and incorporating diverse task labels with prompts. With diverse traffic datasets from encrypted software, DNS, private industrial protocols and cryptocurrency mining, expensive experiments demonstrate the effectiveness of our NetGPT in a range of traffic understanding and generation tasks on traffic datasets, and outperform state-of-the-art baselines by a wide margin.

연구 동기 및 목표

• 다양한 패턴과 작업을 처리할 수 있는 네트워크 트래픽용 보편적 사전학습 모델의 필요성을 제시한다.
• 태스크 라벨 없이도 트래픽의 고유 특성을 학습하기 위한 일반적인 인코딩 및 사전학습 파이프라인을 개발한다.
• 파인튜닝 전략과 프롬프트를 통해 다운스트림 작업(분류, 공격 탐지, 트래픽 생성)에 대한 효율적 적응을 가능하게 한다.

제안 방법

• 각 바이트를 16진수로 변환하고 WordPiece와 유사한 어휘를 가진 토크나이저를 사용하여 다중 패턴 트래픽을 일반적으로 인코딩한다.
• 트래픽 시퀀스에서 다음 토큰 확률을 학습하기 위해 GPT-2를 기본으로 한 자기회귀 사전학습.
• 다양한 네트워크의 비레이블 데이터로 사전학습하여 통일된 의미 공간을 학습한다.
• 헤더-필드 셔플링, 흐름 내 패킷 분할, 프롬프트 기반 작업 라벨링을 통해 파인튜닝이 적응성을 향상시킨다.
• 프롬프트를 활용한 생성 방식의 포뮬레이션으로 트래픽 이해를 수행하고 분류 작업을 텍스트-투-텍스트 문제로 통합한다.
• 실제 트래픽과의 Jensen-Shannon Divergence를 사용해 충실도를 평가하고 헤더-필드 분포를 분석한다.

실험 결과

연구 질문

• RQ1 단일 사전학습 모델이 태스크 특화 라벨 없이도 다양한 네트워크 트래픽 패턴(평문 및 암호화)의 고유 특성을 포착할 수 있는가?
• RQ2 헤더 셔플링, 흐름 수준 패킷 분할, 프롬프트와 같은 파인튜닝 전략이 트래픽 이해 및 생성 작업에서 성능을 어떻게 향상시킬 수 있는가?
• RQ3 실세계 데이터 세트에서 분류/탐지와 트래픽 생성 모두에 대해 NetGPT가 태스크 특화 기준선보다 얼마나 우수한가?
• RQ4 생성된 트래픽이 실제 트래픽에 비해 헤더-필드 분포를 얼마나 충실하게 나타내는가?

주요 결과

• NetGPT와 그 변형인 NetGPT-A는 패킷 수준 및 흐름 수준 설정에서 트래픽 이해 작업에서 강한 성능을 달성한다.
• NetGPT는 GPT-2 기준선을 능가하고 ET-BERT에 대해 경쟁력 있는 결과를 보이며 특히 패킷 수준 작업과 특정 흐름 수준 설정에서 이점이 뚜렷하다.
• 헤더 필드를 셔플링하고 흐름에서 패킷을 구분하는 것이 다운스트림 성능을 향상시키는 반면, 과도한 에포크는 과적합으로 이어질 수 있다.
• 트래픽 생성에서 NetGPT는 여러 데이터셋에서 GPT-2보다 낮은 Jensen-Shannon Divergence를 보이며 실제 트래픽 분포에 대한 충실도가 더 높음을 시사한다.
• NetGPT는 보지 않은 데이터셋(Cybermining)에 대해 강한 일반화를 보이며 다양한 데이터셋(ISXW, DoHBrw, USTCTFC, PrivII)에서도 견고함을 유지한다.
• 아블레이션 연구는 전체 이익을 위해 헤더-필드 셔플링과 패킷 분할의 중요성을 시사한다.