[論文レビュー] A Dependable Hybrid Machine Learning Model for Network Intrusion Detection

Md. Alamin Talukder, Khondokar Fida Hasan+6 more|arXiv (Cornell University)|Dec 8, 2022

Network Security and Intrusion Detection被引用数 23

ひとこと要約

この論文は、SMOTEデータバランシングとXGBoost特徴量選択をML/DL分類器と組み合わせた信頼性の高いハイブリッドIDSを提案し、KDDCUP’99およびCIC-MalMem-2022データセットで高い精度を達成。KDDCUP’99で最大99.99%、CIC-MalMem-2022で100%を報告し、オーバーフィットなし。

ABSTRACT

Network intrusion detection systems (NIDSs) play an important role in computer network security. There are several detection mechanisms where anomaly-based automated detection outperforms others significantly. Amid the sophistication and growing number of attacks, dealing with large amounts of data is a recognized issue in the development of anomaly-based NIDS. However, do current models meet the needs of today's networks in terms of required accuracy and dependability? In this research, we propose a new hybrid model that combines machine learning and deep learning to increase detection rates while securing dependability. Our proposed method ensures efficient pre-processing by combining SMOTE for data balancing and XGBoost for feature selection. We compared our developed method to various machine learning and deep learning algorithms to find a more efficient algorithm to implement in the pipeline. Furthermore, we chose the most effective model for network intrusion based on a set of benchmarked performance analysis criteria. Our method produces excellent results when tested on two datasets, KDDCUP'99 and CIC-MalMem-2022, with an accuracy of 99.99% and 100% for KDDCUP'99 and CIC-MalMem-2022, respectively, and no overfitting or Type-1 and Type-2 issues.

研究の動機と目的

• 侵入検知データセットにおけるデータ不均衡問題を解決し、精度以外の性能指標（例：適合率、再現率、F1、混同行列）への影響を評価する。
• データ平衡化、特徴量選択、次元削減を組み合わせて、検知効率と一般化性能を改善する信頼性の高いIDSパイラインを開発する。
• 二値および多ラベルの侵入検出タスクに対して、ハイブリッドML/DLフレームワーク内で最も効果的な分類器を特定する。
• 提案モデルの精度、可用性、スケーラビリティに焦点を当てた信頼性分析を示す。

提案手法

• 不均衡な侵入データセットをバランスさせるためにSMOTEを適用する。
• 重要な特徴を保持しつつ次元削減を行う埋め込み特徴選択としてXGBoostを使用する。
• 選択した特徴サブセットを用いて、複数の分類器（RF、DT、KNN、MLP、CNN、ANN）を訓練・比較する。
• 精度、適合率、再現率、F1スコア、AUC、ROC、MAE、MSE、RMSE、混同行列などの指標を用いて、タイプ1およびタイプ2エラーを評価する。
• 精度、可用性、スケーラビリティに関連する指標を通じて信頼性を分析する。

実験結果

リサーチクエスチョン

• RQ1 SMOTEバランスとXGBoost特徴選択を組み合わせると、不均衡データセットにおける侵入検知性能が向上し、過学習を抑制できるか？
• RQ2 提案ハイブリッドパイプライン内で、二値および多ラベルの侵入検出タスクを通じて最も良い性能を示すML/DL分類器はどれか？
• RQ3 KDDCUP’99とCIC-MalMem-2022データセットで、ハイブリッドモデルが高い精度を維持しつつタイプ1およびタイプ2エラーを最小化できるか？
• RQ4 XGBoostによる次元削減は訓練効率と全体的な検知性能にどのように影響するか？

主な発見

• ハイブリッドモデルはKDDCUP’99 (99.99%)とCIC-MalMem-2022 (100%)で非常に高い精度を達成した。
• SMOTEはデータセットを効果的にバランスさせ、精度を落とすことなく適合率、再現率、F1を改善する。
• XGBoostベースの特徴選択は次元削減を実現しつつ、複数のML/DL分類器で高い性能を可能にする。
• 検証した分類器（RF、DT、KNN、MLP、CNN、ANN）全体で、提案されたパイプラインは高い精度を示し、過剰適合のリスクが低く、タイプ1/タイプ2エラーのプロファイルが有利である。
• このアプローチは、調査対象の文脈における最新モデルと比較して、精度・可用性・スケーラビリティの点で信頼性を示す。