[논문 리뷰] PacketCGAN: Exploratory Study of Class Imbalance for Encrypted Traffic Classification Using CGAN

Pan Wang, Shuhang Li외 3명|arXiv (Cornell University)|2019. 11. 27.

Internet Traffic Analysis and Secure E-voting참고 문헌 29인용 수 6

한 줄 요약

이 논문은 암호화된 트래픽 분류에서의 클래스 불균형 문제를 해결하기 위해 PacketCGAN을 제안한다. 이는 소수 클래스 트래픽 샘플을 합성하여 딥러닝 모델 성능을 향상시키는 조건부 GAN 기반 데이터 증강 기법이다. ISCX2012 및 USTC-TFC2016와 같은 불균형 데이터셋에서 CNN과 같은 모델의 성능을 향상시키며, ROS, SMOTE 및 일반 GAN 기반 기준선보다 정확도와 F1 점수에서 뛰어난 성능을 보였다.

ABSTRACT

With more and more adoption of Deep Learning (DL) in the field of image processing, computer vision and NLP, researchers have begun to apply DL to tackle with encrypted traffic classification problems. Although these methods can automatically extract traffic features to overcome the difficulty of traditional classification methods like DPI in terms of feature engineering, a large amount of data is needed to learn the characteristics of various types of traffic. Therefore, the performance of classification model always significantly depends on the quality of datasets. Nevertheless, the building of datasets is a time-consuming and costly task, especially encrypted traffic data. Apparently, it is often more difficult to collect a large amount of traffic samples of those unpopular encrypted applications than well-known, which leads to the problem of class imbalance between major and minor encrypted applications in datasets. In this paper, we proposed a novel traffic data augmenting method called PacketCGAN using Conditional GAN. As a generative model, PacketCGAN exploit the benefit of CGAN to generate specified traffic to address the problem of the datasets' imbalance. As a proof of concept, three classical DL models like Convolutional Neural Network (CNN) were adopted and designed to classify four encrypted traffic datasets augmented by Random Over Sampling (ROS), SMOTE(Synthetic Minority Over-sampling Techinique) , vanilla GAN and PacketCGAN respectively based on two public datasets: ISCX2012 and USTC-TFC2016. The experimental evaluation results demonstrate that DL based encrypted traffic classifier over dataset augmented by PacketCGAN can achieve better performance than the others.

연구 동기 및 목표

• 인기 있는 애플리케이션에 비해 샘플 수가 훨씬 적은 소수 클래스 애플리케이션을 가진 암호화된 트래픽 데이터셋에서의 클래스 불균형 문제를 해결한다.
• 포트 및 페이로드 매칭과 같은 전통적인 트래픽 분류 방법이 암호화된 트래픽에서는 실패하므로, 이러한 한계를 극복한다.
• 소수 클래스를 균형 있게 만들기 위해 현실적이며 애플리케이션 특화된 암호화된 트래픽 샘플을 생성하는 데이터 증강 기법을 개발한다.
• 실제 암호화된 트래픽 데이터셋을 기반으로 딥러닝 모델을 사용하여 제안된 방법의 효과성을 평가한다.

제안 방법

• 응용 프로그램 레이블을 조건으로 삼는 조건부 생성 적대적 네트워크(CGAN)를 사용하여 암호화된 트래픽 샘플을 합성한다.
• Generator를 학습시켜 ISCX2012 및 USTC-TFC2016 데이터셋의 실제 암호화된 트래픽 플로우의 통계적 및 시간적 특징을 학습한다.
• 판별자(Discriminator)를 사용하여 실제 트래픽 샘플과 생성된 샘플을 구분함으로써 고해상도의 합성 데이터를 보장한다.
• 실제 및 생성된 샘플을 조합하여 소수 클래스를 증강하여 학습 전에 데이터셋을 균형 잡히게 한다.
• 증강된 데이터셋에 표준 딥러닝 모델(예: CNN)을 적용하여 다양한 증강 기법 간의 성능을 비교한다.
• 생성되는 트래픽의 유형을 제어할 수 있도록 조건부 레이블을 활용하여 CGAN 아키텍처를 최적화함으로써 클래스별로 특화된 데이터 생성을 보장한다.

실험 결과

연구 질문

• RQ1 CGAN 기반의 데이터 증강은 암호화된 트래픽 데이터셋의 클래스 불균형을 효과적으로 줄일 수 있는가?
• RQ2 PacketCGAN는 전통적인 데이터 증강 방법(RoS, SMOTE, 일반 GAN)에 비해 분류 성능 향상에 얼마나 효과적인가?
• RQ3 조건부 생성 방식은 무조건적 GAN에 비해 더 현실적이고 구분력 있는 합성 트래픽 샘플을 생성하는 데 기여하는가?
• RQ4 PacketCGAN를 통한 데이터 증강은 소수 암호화 애플리케이션 클래스에 대한 딥러닝 모델의 F1 점수와 정확도를 어느 정도 향상시키는가?
• RQ5 PacketCGAN의 성능 향상 효과는 다양한 벤치마크 암호화 트래픽 데이터셋에서 일관되게 나타나는가?

주요 결과

• PacketCGAN가 생성한 합성 데이터는 ROS, SMOTE 및 일반 GAN 증강에 비해 소수 클래스의 F1 점수를 크게 향상시켰다.
• PacketCGAN로 증강된 데이터를 사용해 훈련한 CNN 분류기는 테스트한 네 개의 데이터셋(ISCX2012, USTC-TFC2016 및 두 개의 유도된 서브셋)에서 가장 높은 전체 정확도를 기록했다.
• PacketCGAN는 매크로 평균 F1 점수에서 SMOTE 및 ROS를 모두 앞서며, 부족한 샘플을 가진 트래픽 유형에 대한 일반화 능력이 뛰어나다는 것을 보여주었다.
• GAN의 조건부 특성 덕분에 생성되는 암호화된 트래픽의 유형을 정밀하게 제어할 수 있었으며, 이로 인해 더 의미적으로 관련성이 높은 합성 샘플이 생성되었다.
• 일반 GAN에 비해 PacketCGAN는 시간적 및 통계적 특징을 잘 유지하는 더 높은 품질의 합성 트래픽을 생성하여 분류에 중요한 특징을 유지했다.
• 극도로 불균형한 데이터셋에서 성능 향상 효과가 가장 두드러졌으며, 이는 왜곡된 데이터 분포를 가진 실세계 환경에서 이 방법의 효과성을 입증했다.