[論文レビュー] PacketCGAN: Exploratory Study of Class Imbalance for Encrypted Traffic Classification Using CGAN

Pan Wang, Shuhang Li+3 more|arXiv (Cornell University)|Nov 27, 2019

Internet Traffic Analysis and Secure E-voting参考文献 29被引用数 6

ひとこと要約

本稿では、暗号化トラフィック分類におけるクラス不均衡問題に対処するため、PacketCGANと呼ばれる条件付きGANベースのデータ拡張手法を提案する。合成されたマイノリティクラスのトラフィックサンプルを生成することで、PacketCGANはISCX2012やUSTC-TFC2016のような不均衡データセットにおいて、特にCNNの性能を向上させる。ROS、SMOTE、およびヴァニラGANベースラインと比較して、正解率とF1スコアの両面で優れた性能を発揮する。

ABSTRACT

With more and more adoption of Deep Learning (DL) in the field of image processing, computer vision and NLP, researchers have begun to apply DL to tackle with encrypted traffic classification problems. Although these methods can automatically extract traffic features to overcome the difficulty of traditional classification methods like DPI in terms of feature engineering, a large amount of data is needed to learn the characteristics of various types of traffic. Therefore, the performance of classification model always significantly depends on the quality of datasets. Nevertheless, the building of datasets is a time-consuming and costly task, especially encrypted traffic data. Apparently, it is often more difficult to collect a large amount of traffic samples of those unpopular encrypted applications than well-known, which leads to the problem of class imbalance between major and minor encrypted applications in datasets. In this paper, we proposed a novel traffic data augmenting method called PacketCGAN using Conditional GAN. As a generative model, PacketCGAN exploit the benefit of CGAN to generate specified traffic to address the problem of the datasets' imbalance. As a proof of concept, three classical DL models like Convolutional Neural Network (CNN) were adopted and designed to classify four encrypted traffic datasets augmented by Random Over Sampling (ROS), SMOTE(Synthetic Minority Over-sampling Techinique) , vanilla GAN and PacketCGAN respectively based on two public datasets: ISCX2012 and USTC-TFC2016. The experimental evaluation results demonstrate that DL based encrypted traffic classifier over dataset augmented by PacketCGAN can achieve better performance than the others.

研究の動機と目的

• 少数派のアプリケーションが多数派のものよりもはるかに少ないサンプル数を持つ暗号化トラフィックデータセットにおけるクラス不均衡の課題に対処すること。
• ポートやペイロード照合といった従来のトラフィック分類手法が暗号化トラフィックでは機能しないことの制限を克服すること。
• マイノリティクラスをバランスさせるために、現実的でアプリケーション固有の暗号化トラフィックサンプルを生成するデータ拡張技術を開発すること。
• 実世界の暗号化トラフィックデータセットを用いて、提案手法の有効性をディープラーニングモデルで評価すること。

提案手法

• アプリケーションラベルを条件とする条件付き生成対抗ネットワーク（CGAN）を用いて、合成された暗号化トラフィックサンプルを生成する。
• 生成器を、ISCX2012およびUSTC-TFC2016データセットからの実際の暗号化トラフィックフローの統計的および時間的特徴を学習できるように訓練する。
• 識別器を用いて、実際のトラフィックサンプルと生成されたサンプルを区別させ、高品質な合成データを保証する。
• マイノリティクラスを、実サンプルと生成サンプルを組み合わせることでデータセットをバランスさせる。その後、ディープラーニングモデルの学習に用いる。
• 標準的なディープラーニングモデル（例：CNN）を拡張済みデータセットに適用し、さまざまな拡張手法の性能を比較する。
• 条件付きラベルを最適化して、生成されるトラフィックの種別を制御し、クラス固有のデータ合成を可能にするCGANアーキテクチャを最適化する。

実験結果

リサーチクエスチョン

• RQ1 CGANベースのデータ拡張は、暗号化トラフィックデータセットにおけるクラス不均衡を効果的に軽減できるか？
• RQ2 PacketCGANは、従来のデータ拡張手法（ROS、SMOTE、ヴァニラGAN）と比較して、分類性能をどのように向上させるか？
• RQ3 条件付き生成により、非条件付きGANと比較してより現実的で判別力のある合成トラフィックサンプルが得られるか？
• RQ4 PacketCGANによるデータ拡張は、マイノリティ暗号化アプリケーションクラスにおけるディープラーニングモデルのF1スコアおよび正解率をどの程度向上させるか？
• RQ5 PacketCGANの性能向上は、さまざまなベンチマーク暗号化トラフィックデータセットで一貫して見られるか？

主な発見

• PacketCGANが生成した合成データは、ROS、SMOTE、およびヴァニラGAN拡張と比較して、マイノリティクラスのF1スコアを顕著に向上させた。
• PacketCGANで拡張されたデータを用いて学習したCNN分類器は、テストされた4つのデータセット（ISCX2012、USTC-TFC2016、および2つの派生サブセット）において、最高の全体正解率を達成した。
• PacketCGANは、マクロ平均F1スコアにおいてSMOTEおよびROSを上回り、不足しているトラフィックタイプへの一般化性能が優れていることを示した。
• GANの条件付き性により、生成されるトラフィックの種別を正確に制御でき、より意味的に関連性の高い合成サンプルが得られた。
• ヴァニラGANと比較して、PacketCGANは時間的および統計的特徴を分類に不可欠な形で保持した、より高品質な合成トラフィックを生成した。
• 特にクラス不均衡が著しいデータセットにおいて、性能向上が顕著に現れた。これは、歪んだデータ分布を持つ実世界のシナリオにおいて、本手法の有効性が裏付けられたことを示している。