[論文レビュー] Evaluation of Machine Learning Classifiers for Zero-Day Intrusion Detection -- An Analysis on CIC-AWS-2018 dataset

Qianru Zhou, Dimitrios P. Pezaros|arXiv (Cornell University)|May 9, 2019

Network Security and Intrusion Detection参考文献 9被引用数 52

ひとこと要約

本論文は、CICFlowMeter機能を用いた CIC-AWS-2018 データセット上で、ゼロデイ侵入検知を評価し、決定木のような単純なモデルが高い精度を達成できることを示している。

ABSTRACT

Detecting Zero-Day intrusions has been the goal of Cybersecurity, especially intrusion detection for a long time. Machine learning is believed to be the promising methodology to solve that problem, numerous models have been proposed but a practical solution is still yet to come, mainly due to the limitation caused by the out-of-date open datasets available. In this paper, we take a deep inspection of the flow-based statistical data generated by CICFlowMeter, with six most popular machine learning classification models for Zero-Day attacks detection. The training dataset CIC-AWS-2018 Dataset contains fourteen types of intrusions, while the testing datasets contains eight different types of attacks. The six classification models are evaluated and cross validated on CIC-AWS-2018 Dataset for their accuracy in terms of false-positive rate, true-positive rate, and time overhead. Testing dataset, including eight novel (or Zero-Day) real-life attacks and benign traffic flows collected in real research production network are used to test the performance of the chosen decision tree classifier. Promising results are received with the accuracy as high as 100% and reasonable time overhead. We argue that with the statistical data collected from CICFlowMeter, simple machine learning models such as the decision tree classification could be able to take charge in detecting Zero-Day attacks.

研究の動機と目的

• CICFlowMeterのフロー-based統計データを用いたゼロデイ侵入検知の性能を評価する。
• CIC-AWS-2018の訓練/テスト分割において六つの機械学習分類器を比較する。
• 各モデルの精度、偽陽性/真陽性率、および時間オーバーヘッドを分析する。
• 単純なモデル（例えば決定木）がゼロデイ攻撃を効果的に検出できるかを特定する。

提案手法

• CICFlowMeterを使用してネットワークデータからフロー基盤の統計特徴を抽出する。
• 14の訓練侵入タイプと8のテスト侵入タイプを含むCIC-AWS-2018データセットで6つのML分類モデルを評価する。
• 精度、偽陽性率、真陽性率、および時間オーバーヘッドを測定するためにクロスバリデーションを実施する。
• 実際のゼロデイ攻撃と善良なトラフィックを対象に選択モデルをテストして実用的な性能を評価する。
• 簡単なモデル（例：決定木）がゼロデイ検知に適しているかを判断するために結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 CIC-AWS-2018でのゼロデイ侵入検知において、精度とオーバーヘッドの最良のバランスを提供するML分類器はどれか？
• RQ2 決定木のような単純なモデルは、このデータセットでより複雑なモデルに対して競技的なパフォーマンスを発揮できるか？
• RQ3 実運用ネットワークデータで、ゼロデイ攻撃と善良なトラフィックに対してモデルはどう性能を示すか？

主な発見

• 六つのMLモデルがCIC-AWS-2018データセットで評価された。
• 訓練セットには14の侵入タイプ、テストセットには8の侵入タイプが含まれる。
• 実際のゼロデイ攻撃と善良なトラフィックでのテストは、精度が最大100%に達するなど有望な結果を示した。
• モデルの時間オーバーヘッドは実用的な展開を支持する程度に合理的であった。
• 本研究は、決定木のような単純なモデルがCICFlowMeterの特徴を用いてゼロデイ攻撃を効果的に検出できる可能性を主張する。）