[論文レビュー] A Robust Comparison of the KDDCup99 and NSL-KDD IoT Network Intrusion Detection Datasets Through Various Machine Learning Algorithms

Suchet Sapre, Pouyan Ahmadi+1 more|arXiv (Cornell University)|Dec 31, 2019

Network Security and Intrusion Detection参考文献 4被引用数 49

ひとこと要約

この論文は KDDCup99 と NSL-KDD IoT 侵入データセットを複数の ML 分類器で比較し、NSL-KDD は質が高いが厳格さと冗長性の削減の結果、精度が低くなることを示す。

ABSTRACT

In recent years, as intrusion attacks on IoT networks have grown exponentially, there is an immediate need for sophisticated intrusion detection systems (IDSs). A vast majority of current IDSs are data-driven, which means that one of the most important aspects of this area of research is the quality of the data acquired from IoT network traffic. Two of the most cited intrusion detection datasets are the KDDCup99 and the NSL-KDD. The main goal of our project was to conduct a robust comparison of both datasets by evaluating the performance of various Machine Learning (ML) classifiers trained on them with a larger set of classification metrics than previous researchers. From our research, we were able to conclude that the NSL-KDD dataset is of a higher quality than the KDDCup99 dataset as the classifiers trained on it were on average 20.18% less accurate. This is because the classifiers trained on the KDDCup99 dataset exhibited a bias towards the redundancies within it, allowing them to achieve higher accuracies.

研究の動機と目的

• IoT 侵入検知のための KDDCup99 と NSL-KDD のデータ品質を比較評価する。
• より広い指標セットを用いて、両データセット上で複数の ML 分類器を評価する。
• データセットの特性（冗長性、バランス）が分類器の性能にどう影響するかを理解する。
• 経験的結果に基づき IDS 研究のデータセット選択に関するガイダンスを提供する。

提案手法

• 両データセットのカテゴリ特徴量をワンホットエンコードし、訓練/テスト分割に対してL2正規化を適用する。
• Naïve Bayes、Support Vector Machines、Random Forest、Artificial Neural Networks を両データセットで訓練・評価する。
• 型分類タスクと二値分類タスクを用い、ANN アーキテクチャは隠れ層2層（各100ノード）とする。
• SVM では線形カーネルを使用し、二値分類の訓練データの0.05%のランダムサンプルを用いる。
• Random Forest では5つの推定器と訓練データの0.1%のランダムサンプルを二値および型分類の両方に適用する。
• 型分類では精度、二値分類では適合率/再現率/F1を用いて性能を評価する。
• ANN は Adam、20エポックの許容、モデルチェックポイントを最適化し、クロスエントロピー損失とソフトマックス/シグモイド出力を用いる。

実験結果

リサーチクエスチョン

• RQ1 KDDCup99 と NSL-KDD は IoT 侵入検知のデータ品質の観点で、異なる ML 分類器に対してどう比較されるか。
• RQ2 冗長性のため KDDCup99 の分類器がより高い精度を達成するのか、NSL-KDD の高品質がこのバイアスを減らすのか。
• RQ3 型分類と二値分類のタスクはデータセット間で分類器の性能にどう差が現れるか。
• RQ4 データセット固有の特徴（クラス不均衡、冗長性）が精度・再現率・F1 スコアに与える影響は何か。
• RQ5 厳格性を考慮すると、NSL-KDD の性能を向上させるためにアンサンブルやスタックド法は有効か。

主な発見

• NSL-KDD は KDDCup99 より品質が高く、easy-to-classify レコードの削除により NSL-KDD 上の分類器の平均精度が約20.18%低下する。
• ANN は両データセットとも型分類の最高精度を一貫して示すが、NSL-KDD 訓練の分類器は再現率が大きく低下する（例: NSL-KDD の再現率の平均は約0.556に対し KDDCup99 は0.902）。
• 二値分類の結果は両データセットで SVM が F1 スコアに有利で、Random Forest が最良の適合率を提供する；NSL-KDD は平均 F1 が顕著に低く0.6630、KDDCup99 は0.9452）。
• KDDCup99 の PCA プロットは侵入タイプ間の分離が大きい一方、NSL-KDD はより重なりが大きく、KDDCup99 の分類が容易であったことと整合的だが、KDDCup99 の冗長性を示唆している。
• NSL-KDD の R2L および U2R 侵入タイプは ANN によって検出が困難で、真陽性率が非常に低く、これらのクラスのデータ品質問題が残っていることを示唆している。