[論文レビュー] Expansion of Cyber Attack Data From Unbalanced Datasets Using Generative Techniques

Ibrahim Yilmaz, Rahat Masum|arXiv (Cornell University)|Dec 10, 2019

Network Security and Intrusion Detection参考文献 21被引用数 11

ひとこと要約

本稿では、生成対抗ネットワーク（GANs）を用いて、不均衡なサイバー攻撃データセット、特にUGR’16データセットのデータ拡張を提案し、合成攻撃サンプルを生成することで分類器の性能を向上させる。GANベースのデータ拡張により、少数派の攻撃クラスのバランスが取られ、モデルの正確性、AUC-ROC、および精度再現率の指標が顕著に向上する。

ABSTRACT

Machine learning techniques help to understand patterns of a dataset to create a defense mechanism against cyber attacks. However, it is difficult to construct a theoretical model due to the imbalances in the dataset for discriminating attacks from the overall dataset. Multilayer Perceptron (MLP) technique will provide improvement in accuracy and increase the performance of detecting the attack and benign data from a balanced dataset. We have worked on the UGR'16 dataset publicly available for this work. Data wrangling has been done due to prepare test set from in the original set. We fed the neural network classifier larger input to the neural network in an increasing manner (i.e. 10000, 50000, 1 million) to see the distribution of features over the accuracy. We have implemented a GAN model that can produce samples of different attack labels (e.g. blacklist, anomaly spam, ssh scan). We have been able to generate as many samples as necessary based on the data sample we have taken from the UGR'16. We have tested the accuracy of our model with the imbalance dataset initially and then with the increasing the attack samples and found improvement of classification performance for the latter.

研究の動機と目的

• 侵入検知システム（IDS）における不均衡なデータセットの課題に対処する。ここでは、攻撃トラフィックが正常トラフィックに比べて著しく少ない。
• 生成的手法を用いて少数派の攻撃クラスをバランス化することで、機械学習分類器の汎化性能と検出正確性を向上させる。
• UGR’16データセットからの実データ分布に基づき、GANベースのフレームワークを構築し、現実的なサイバー攻撃サンプルを合成する。
• AUC-ROCや精度再現率曲線といった標準指標を用いて、データ拡張のモデル性能への影響を評価する。

提案手法

• 訓練およびテストの主なデータソースとしてUGR’16データセットを用い、バランスの取れたテストセットを準備するためにデータ前処理を実施した。
• GANアーキテクチャにおいて、実際の攻撃サンプルと生成されたサンプルを区別するため、マルチレイヤーパーセプトロン（MLP）を識別器として実装した。
• 実データの分布に基づき、複数の攻撃タイプ（例：ブラックリスト攻撃、SSHスキャン、異常スパム）の合成攻撃サンプルを生成するためのジェネレータネットワークを訓練した。
• 入力サイズを段階的に増加（10k、50k、100万サンプル）させ、特徴量の分布とモデルのスケーラビリティを評価した。
• 神経ネットワークの入力に適した数値表現に変換できるよう、混合データ型（例：IPアドレス）を特徴工学的手法で処理した。
• 不均衡なデータセットとGANで拡張されたバランスの取れたデータセットの両方に対して、AUC-ROCおよび精度再現率曲線を用いてモデル性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 GANベースのデータ生成は、UGR’16のような不均衡なサイバー攻撃データセットを効果的にバランス化し、分類器の性能を向上させることができるか？
• RQ2 合成攻撃サンプルの導入は、ニューラルネットワークベースのIDSにおけるAUC-ROCおよび精度再現率指標にどのように影響を与えるか？
• RQ3 GANによるデータ拡張は、不均衡なデータセットにおける正常トラフィックへの過学習をどの程度軽減するか？
• RQ4 異なる入力サイズ（10k～100万サンプル）は、合成データを含む状況下で特徴量の分布とモデルの正確性にどのように影響を与えるか？

主な発見

• GANで拡張されたバランスの取れたデータセットでは、AUC-ROC値が1.0に近づき、不均衡な状態では0.80であったのと比べて、ほぼ完璧なモデル性能を示した。
• 精度再現率のAUCは、不均衡データセットでは約0.2から、バランスの取れたGAN拡張データセットではほぼ1.0に顕著に向上した。
• 拡張されたデータセットで訓練されたモデルでは、正確性が著しく向上した。これは、分類器が十分な攻撃サンプルから学習でき、正常トラフィックへの過学習を回避できたためである。
• GANによる合成データの活用は、多数派クラスへのバイアスを効果的に軽減し、少数派攻撃タイプの検出性能を向上させた。
• 拡張されたデータセットで訓練されたモデルは、さまざまな攻撃カテゴリにわたり、強固で改善された汎化性能を示した。
• ハードウェア制限による計算リソースの制限はあったが、UGR’16データセットのサブセットにおいても、GANベースのアプローチは実用的かつスケーラブルであることが示された。