[논문 리뷰] TrafficGPT: Breaking the Token Barrier for Efficient Long Traffic Analysis and Generation

Jian Qu, Xiaobo Ma외 1명|arXiv (Cornell University)|2024. 03. 09.

Software-Defined Networks and 5G인용 수 8

한 줄 요약

TrafficGPT는 선형 어텐션을 갖춘 트랜스포머 모델을 사전 학습하여 장문의 트래픽 흐름 분류 및 현실적인 트래픽 생성을 위해 최대 12,032 토큰을 처리합니다. 여기에는 pcap에서 토큰으로, 그리고 다시 토큰으로의 양방향 토큰화가 포함됩니다.

ABSTRACT

Over the years, network traffic analysis and generation have advanced significantly. From traditional statistical methods, the field has progressed to sophisticated deep learning techniques. This progress has improved the ability to detect complex patterns and security threats, as well as to test and optimize network performance. However, obstacles persist, such as the dependence on labeled data for analysis and the difficulty of generating traffic samples that follow realistic patterns. Pre-trained deep neural networks have emerged as powerful tools to resolve these issues, offering improved performance by learning robust data representations from large unlabeled datasets. Despite their benefits, existing pre-trained models face challenges like token length limitation, which restricts their usefulness in comprehensive traffic analysis and realistic traffic generation. To address these challenges, we introduce TrafficGPT, a deep learning model that can tackle complex challenges related to long flow classification and generation tasks. This model uses generative pre-training with the linear attention mechanism, which allows for a substantially increased capacity of up to 12,032 tokens from the previous limit of only 512 tokens. TrafficGPT demonstrates superior performance in classification tasks, reaching state-of-the-art levels. In generation tasks, it closely resembles real traffic flows, with low JS divergence and an F1 score close to 0.5 (representing a random guess) in discriminating generated data. These advancements hold promise for future applications in both traffic flow classification and generation tasks.

연구 동기 및 목표

• 트래픽 분석 및 생성을 위한 사전 학습 모델의 토큰 길이 한계를 해결한다.
• 토큰 시퀀스로부터 pcap 파일을 직접 생성할 수 있는 가역 토큰 표현을 개발한다.
• 생성적 사전학습을 통해 긴 맥락의 트래픽 분류와 현실적인 트래픽 생성을 가능하게 한다.

제안 방법

• 표준 2차 자기-주의 대신 선형 주의(attention)를 사용하여 최대 12,032 토큰을 가능하게 한다.
• pcap 파일과 토큰 시퀀스 간 매핑하는 가역 토큰 표현을 개발한다.
• 레이블이 없는 트래픽 데이터에 대해 자기회귀 사전 학습을 채택하여 강건한 표현을 얻는다.
• 시간 간격과 헥스 페이로드 표현을 포함하는 흐름 중심 토큰화를 구현한다.
• 최대 260개 클래스에 대한 흐름 분류를 위해 [cls] 토큰으로 미세조정한다; 더 많은 클래스를 위해 다중 토큰을 사용한다.

실험 결과

연구 질문

• RQ1 TrafficGPT가 다양한 데이터 세트에서 트래픽 흐름 분류에 있어 최첨단 성능을 달성할 수 있는가?
• RQ2 토큰 길이를 늘리면 긴 트래픽 시퀀스의 분류 및 생성 품질이 향상되는가?
• RQ3 가역 토큰 표현이 토큰 스트림으로부터 pcap 파일의 직접 재구성을 가능하게 하는가?
• RQ4 패킷 헤더 및 흐름 특징에서 실제 트래픽과 비교했을 때 TrafficGPT로 생성된 트래픽 흐름은 얼마나 현실적인가?

주요 결과

• TrafficGPT (12k)는 여러 데이터 세트에서 최첨단 Macro F1을 달성했고, 이전의 사전 학습 모델에 비해 평균 약 2%의 향상을 보였다.
• 더 긴 토큰 길이(12k)는 일반적으로 성능을 향상시키며, Cross-Platform Android 데이터세트에서 주목할 만한 이점을 보인다.
• TrafficGPT는 평균 패킷 헤더 JSD 0.1605 및 흐름 특징 JSD 0.2396를 달성하여 현실적인 트래픽 생성을 시사하며, 특히 12k 토큰에서 두드러진다.
• 판별기 기반 평가에서 흐름 구분 F1은 0.6683으로 생성된 흐름이 실제 트래픽과 구분하기 어렵다는 것을 보여준다.
• 가역 토큰 표현은 토큰 시퀀스로부터 pcap 파일의 직접 재구성을 가능하게 하여 재구성 문제를 해결한다.