[論文レビュー] Attack vs Benign Network Intrusion Traffic Classification

M. Andrecut|arXiv (Cornell University)|May 15, 2022

Network Security and Intrusion Detection被引用数 6

ひとこと要約

この論文は、k-近傍法（k-NN）分類器が、CSE-CIC-IDS2018データセットにおける不正検知において、モデルの学習やハイパーパrameterチューニングを必要とせず、過学習のリスクも伴わず、精度、F-スコア、再現率の面で、複雑なディープラーニングモデルと同等またはそれ以上の性能を達成できることを示している。特に、不均衡なデータに対して顕著である。

ABSTRACT

Intrusion detection systems (IDS) are used to monitor networks or systems for attack activity or policy violations. Such a system should be able to successfully identify anomalous deviations from normal traffic behavior. Here we discuss the machine learning approach to building an anomaly-based IDS using the CSE-CIC-IDS2018 dataset. Since the publication of this dataset a relatively large number of papers have been published, most of them presenting IDS architectures and results based on complex machine learning methods, like deep neural networks, gradient boosting classifiers, or hidden Markov models. Here we show that similar results can be obtained using a very simple nearest neighbor classification approach, avoiding the inherent complications of training such complex models. The advantages of the nearest neighbor algorithm are: (1) it is very simple to implement; (2) it is extremely robust; (3) it has no parameters, and therefore it cannot overfit the data. This result also shows that currently there is a trend of developing over-engineered solutions in the machine learning community. Such solutions are based on complex methods, like deep learning neural networks, without even considering baseline solutions corresponding to simple, but efficient methods.

研究の動機と目的

• CSE-CIC-IDS2018データセットを用いた不正検知において、単純でパrameterフリーの機械学習手法が、複雑なディープラーニングモデルと同等の性能を発揮できるかどうかを評価すること。
• k-NNのようなベースライン手法が十分に機能し、より頑健であることを示すことで、機械学習分野における過剰な設計の傾向に挑戦すること。
• ネットワーク不正検知におけるディープラーニングモデルに伴う過学習のリスクと、過大な計算コストの問題を浮き彫りにすること。
• 学習やハイパーパrameterチューニングを必要としない、最小限のパラメータで構成される代替手法を提供すること。
• 特に、03-01-2018.csvファイルのような極めて不均衡なデータにおいても、近傍法アプローチが強力な性能を維持できることを示すこと。

提案手法

• 本研究では、各テストインスタンスの最も近い訓練サンプルを計算するために、ドット積類似度を用いたk-近傍法（k-NN）分類手法を採用している。
• 各テストサンプルに対して、テストベクトルとすべての訓練ベクトル間のドット積を計算し、類似度が最も高い訓練サンプルを予測クラスとして選択する。
• 5分割交差検証を用い、各データファイルを5等分に分割し、各foldで80%を訓練、20%をテストとして、性能指標を平均化している。
• 分類の前段階で、特徴量のスケールの一貫性を確保するため、データ正規化を実施しており、タイムスタンプおよび欠損値を含むカラムは除外されている。
• 性能評価には、標準的な指標（精度、適合率、再現率、F-スコア）を用い、5分割の反復平均を算出している。
• 本手法は、学習可能なパラメータが存在しないため、モデル学習やハイパーパrameterチューニングが不要であり、過学習のリスクがない。

実験結果

リサーチクエスチョン

• RQ1 CSE-CIC-IDS2018不正検知データセットにおいて、単純でパrameterフリーの近傍分類器が、複雑なディープラーニングモデルと同等の性能を発揮できるか？
• RQ2 k-NNにおけるモデル学習やハイパーパrameterチューニングの欠如が、ディープラーニング手法と比較して、より優れた一般化性能と頑健性をもたらすか？
• RQ3 03-01-2018.csvのような極めて不均衡なデータ（正常と攻撃トラフィックのパターンが類似している）において、k-NNはどのように性能を発揮するか？
• RQ4 なぜディープラーニングモデルは一部のデータファイルでは高い精度を示すが、F-スコアや再現率が低いのか？k-NNはこの問題を緩和できるか？
• RQ5 複雑なディープラーニングモデルへの傾向が、単純な代替手法の強力な性能を鑑みれば、正当化されていると言えるか？

主な発見

• k-NN分類器は、すべてのデータファイル全体で98.58%の精度と96.67%のF-スコアを達成し、CSE-CIC-IDS2018データセットにおける強力な一般化性能を示した。
• 02-14-2018.csv や 03-02-2018.csv などのほとんどのデータファイルにおいて、k-NNは精度（0.9999）とF-スコア（0.9999）をほぼ完全に達成し、F-スコアおよび再現率の面でディープラーニングモデルを上回った。
• 03-01-2018.csv ファイル（ディープラーニングモデルがF-スコア 0.34～0.49を報告）では、k-NNが再現率 0.4227、F-スコア 0.4564 を達成し、最良のディープラーニングモデル（F-スコア 0.4852）を顕著に上回った。
• k-NNは 02-14-2018.csv および 02-16-2018.csv で100%の再現率を達成しており、これらのファイルにおけるすべての攻撃インスタンスを効果的に検出できていることを示している。
• k-NNは学習時間やハイパーパrameterチューニングを一切必要とせず、一方でディープラーニングモデルは13.5日以上の学習を要したため、計算効率に優れていることが明らかになった。
• 結果から、ディープラーニングモデルは 03-01-2018.csv データに対して過学習している可能性があり、高い報告精度とは裏腹に、F-スコアと再現率がk-NNに比べて著しく低いことが示唆された。