[論文レビュー] Evaluating Standard Feature Sets Towards Increased Generalisability and Explainability of ML-based Network Intrusion Detection

Mohanad Sarhan, Siamak Layeghy+1 more|arXiv (Cornell University)|Apr 15, 2021

Network Security and Intrusion Detection被引用数 4

ひとこと要約

本稿は、3つのベンチマークデータセット（CSE-CIC-IDS2018、ToN-IoT、BoT-IoT）において、NetFlowとCICFlowMeterの特徴量セットを比較することで、機械学習ベースのネットワークインシデント検出（NIDS）の汎用性と解釈可能性を評価する。ランダムフォレストとディープフィードフォワード分類器を用いて、NetFlow特徴量が検出精度と推論速度の両面でCICFlowMeterを常に上回ることを示した。また、SHAP解析により、攻撃検出において前向き方向特徴量とIATベース特徴量が、すべてのデータセットで最も影響力のある要因であることが明らかになった。

ABSTRACT

Machine Learning (ML)-based network intrusion detection systems bring many benefits for enhancing the cybersecurity posture of an organisation. Many systems have been designed and developed in the research community, often achieving a close to perfect detection rate when evaluated using synthetic datasets. However, the high number of academic research has not often translated into practical deployments. There are several causes contributing towards the wide gap between research and production, such as the limited ability of comprehensive evaluation of ML models and lack of understanding of internal ML operations. This paper tightens the gap by evaluating the generalisability of a common feature set to different network environments and attack scenarios. Therefore, two feature sets (NetFlow and CICFlowMeter) have been evaluated in terms of detection accuracy across three key datasets, i.e., CSE-CIC-IDS2018, BoT-IoT, and ToN-IoT. The results show the superiority of the NetFlow feature set in enhancing the ML models detection accuracy of various network attacks. In addition, due to the complexity of the learning models, SHapley Additive exPlanations (SHAP), an explainable AI methodology, has been adopted to explain and interpret the classification decisions of ML models. The Shapley values of two common feature sets have been analysed across multiple datasets to determine the influence contributed by each feature towards the final ML prediction.

研究の動機と目的

• 機械学習ベースのネットワークインシデント検出システム（NIDS）の学術的研究と実世界での導入の間のギャップを埋えること。
• 標準的な特徴量セット（NetFlowとCICFlowMeter）が、多様なネットワーク環境と攻撃シナリオにわたってどれほど汎用性を示すかを評価すること。
• SHapley Additive exPlanations（SHAP）を適用して、機械学習予測における特徴量の寄与度を解釈することで、モデルの解釈性を向上させること。
• 標準化された、クロスデータセット評価が可能な形式で、2つの新しいCICFlowMeter形式のデータセット（CIC-BoT-IoTとCIC-ToN-IoT）を生成・公開すること。

提案手法

• ToN-IoTおよびBoT-IoTをCICFlowMeter特徴量形式に変換することで、一貫性のある評価が可能な2つの新しいデータセット（CIC-BoT-IoTとCIC-ToN-IoT）を構築した。
• ランダムフォレスト（RF）およびディープフィードフォワード（DFF）の2つの機械学習モデルを用い、NetFlowおよびCICFlowMeter特徴量セットを用いて、すべての3つのデータセットでネットワークトラフィックを分類した。
• モデル意思決定を解釈するために、SHapley Additive exPlanations（SHAP）を用い、DFFにはKernelSHAP、RFにはTreeSHAPを適用した。
• テストサンプル全体にわたる平均SHAP値を正規化し、特徴量の影響順位を可視化することで、異なるデータセットおよびモデル間での影響度を比較した。
• 検出精度と推論時間を評価し、異なる特徴量セットにおけるモデルの性能と効率性を測定した。
• すべてのデータセットと特徴量セットを公開することで、機械学習ベースNIDSの再現可能でクロスデータセット評価が可能な基盤を提供した。

Figure 1 : Dataset Generation Process

実験結果

リサーチクエスチョン

• RQ1 異なるネットワーク環境と攻撃タイプにわたって、NetFlow特徴量セットはCICFlowMeter特徴量セットよりも汎用性が優れているか？
• RQ2 異なる機械学習モデル（RFおよびDFF）を用いた場合、NetFlowとCICFlowMeterの間で検出精度と推論時間はどのように比較されるか？
• RQ3 SHAP解析によって明らかにされたように、複数のデータセットにわたって、どのネットワーク特徴量が機械学習モデルの予測に最も顕著に寄与しているか？
• RQ4 特徴量の重要度順位はどの程度データセットごとに変動し、異なる攻撃シナリオにおいて一貫した高影響特徴量が存在するか？

主な発見

• RFおよびDFF分類器の両方を用いた場合、NetFlow特徴量セットはCSE-CIC-IDS2018、ToN-IoT、BoT-IoTの3つのすべてのデータセットで、CICFlowMeterよりも一貫して高い検出精度を達成した。
• NetFlowベースのモデルは、予測時間が短く、リアルタイム導入シナリオにおける効率性が優れていることが示された。
• CIC-BoT-IoTデータセット（CICFlowMeter形式）において、RFおよびDFFモデルの両方で、前向き方向特徴量（例：'Fwd IAT Min'、'Fwd IAT Mean'）が上位5つの影響力のある特徴量の一部であった。
• RF分類器はCICFlowMeter形式において、前向き方向特徴量とIATベース特徴量に最も強く影響を受けていたが、NetFlow特徴量はモデル間でより一貫性を示した。
• NetFlow特徴量は、RFおよびDFFモデルの両方で5つの共通する上位10位以内の影響特徴量を有していたのに対し、CICFlowMeterでは2つにとどまった。これは、NetFlow特徴量の高い安定性と汎用性を示している。
• SHAP解析により、データセットごとに特徴量の重要度に顕著な差が認められ、特徴量の影響力が存在する特定の攻撃タイプや正常トラフィックパターンに強く依存していることが明らかになった。

(a) RF