[論文レビュー] Identifying Relevant Features of CSE-CIC-IDS2018 Dataset for the Development of an Intrusion Detection System

László Göcs, Zsolt Csaba Johanyák|arXiv (Cornell University)|Jul 21, 2023

Network Security and Intrusion DetectionComputer Science被引用数 3

ひとこと要約

本論文は、インシデント検出システム（IDS）のパフォーマンスを最適化するため、CSE-CIC-IDS2018データセット向けの体系的特徴量選択パイプラインを提案する。6つの特徴量選択手法を適用し、それらのスコアを平均化することで、5つの攻撃タイプに対して最小限で効果的な特徴量サブセットを同定した。ランダムフォレストおよびツリーに基づく分類器を用いることで、最小7つの特徴量で最高1.00000の正確度を達成した。

ABSTRACT

Intrusion detection systems (IDSs) are essential elements of IT systems. Their key component is a classification module that continuously evaluates some features of the network traffic and identifies possible threats. Its efficiency is greatly affected by the right selection of the features to be monitored. Therefore, the identification of a minimal set of features that are necessary to safely distinguish malicious traffic from benign traffic is indispensable in the course of the development of an IDS. This paper presents the preprocessing and feature selection workflow as well as its results in the case of the CSE-CIC-IDS2018 on AWS dataset, focusing on five attack types. To identify the relevant features, six feature selection methods were applied, and the final ranking of the features was elaborated based on their average score. Next, several subsets of the features were formed based on different ranking threshold values, and each subset was tried with five classification algorithms to determine the optimal feature set for each attack type. During the evaluation, four widely used metrics were taken into consideration.

研究の動機と目的

• CSE-CIC-IDS2018データセットから、高精度なインシデント検出を可能にする最小限で関連性の高い特徴量のセットを同定すること。
• 異なる特徴量選択手法およびランク付けしきい値が分類性能に与える影響を評価すること。
• 5つの攻撃タイプ（FTP、SSH、WEB、XSS、SQLインジェクション）それぞれに対して、最適な特徴量サブセットと分類器の組み合わせを特定すること。
• 全次元入力と比較して、縮小された特徴量セットが検出正確度を維持または向上させるかどうかを評価すること。
• 異常ベースIDS開発における再利用可能でデータ駆動型の特徴量選択ワークフローを提供すること。

提案手法

• 事前処理済みのCSE-CIC-IDS2018データに対して、6つの特徴量選択手法（情報ゲイン、カイ二乗検定、相関、ReliefF、再帰的特徴量削除、ANOVA F検定）を適用した。
• 各手法からの個々の特徴量スコアを正規化し、全手法にわたる特徴量の順位付けに平均スコアを計算した。
• 6つのランク付けしきい値を定義し、1～44個の特徴量（各攻撃タイプごと）を含む複数の特徴量サブセットを生成した。
• Orangeソフトウェアを用いて、各特徴量サブセットに対して5つの分類器（ロジスティック回帰、ランダムフォレスト、決定木、SVM、ナイーブベイズ）を訓練した。
• 訓練およびテストデータの両方で、正確度、適合率、再現率、F1スコアの4つの指標を用いてモデルを評価した。
• 各攻撃タイプごとに、最高のF1スコアと全体的な性能安定性を基準に、最良のモデルおよび特徴量セットを選択した。

Figure 1: Dataset preprocessing workflow

実験結果

リサーチクエスチョン

• RQ1 CSE-CIC-IDS2018データセットから、特定の攻撃タイプ（FTP、SSH、WEB、XSS、SQLインジェクション）を検出するのに最も関連性の高い特徴量は何か？

主な発見

• FTP攻撃では、ランク付けしきい値0.35で選択された8つの属性からなる特徴量セットを用い、ランダムフォレストで100％の正確度、適合率、再現率、F1スコアを達成した。
• SSH攻撃では、しきい値0.35で7つの特徴量を用い、ランダムフォレストで99.999％の正確度を達成し、ほぼ完璧な検出を実現した。
• WEB攻撃では、しきい値0.35で44つの特徴量を必要とし、99.994％の正確度を達成した。ツリーに基づく分類器が最も優れた性能を示した。
• XSS攻撃では、しきい値0.45で10つの特徴量を用い、ランダムフォレストで99.999％の正確度を達成し、他のモデルを上回った。
• SQLインジェクション検出では、しきい値0.40で26つの特徴量を用い、ツリー分類器で99.999％の正確度を達成した。F1スコアは0.97647であった。
• ツリーに基づく分類器およびランダムフォレスト分類器は、すべての攻撃タイプにおいて一貫して他の手法を上回り、特に特徴量が削減されたセットにおいて顕著な性能を示した。

Figure 2: Feature selection workflow