[論文レビュー] An Explainable Machine Learning-based Network Intrusion Detection System for Enabling Generalisability in Securing IoT Networks.

Mohanad Sarhan, Siamak Layeghy+1 more|arXiv (Cornell University)|Apr 15, 2021

Network Security and Intrusion Detection参考文献 10被引用数 16

ひとこと要約

本論文は、3つのIoTデータセット（CSE-CIC-IDS2018、BoT-IoT、ToN-IoT）を対象に、NetFlowおよびCICFlowMeterの特徴量セットを用いた、説明可能な機械学習（XAI）を強化したネットワークインシデント検出システムを提案する。NetFlow特徴量がモデルの汎化性能と検出精度を向上させることを示し、SHAP値を用いてモデルの意思決定を説明することで、実世界のIoTセキュリティ展開における信頼性と解釈可能性が向上することを明らかにした。

ABSTRACT

Machine Learning (ML)-based network intrusion detection systems bring many benefits for enhancing the security posture of an organisation. Many systems have been designed and developed in the research community, often achieving a perfect detection rate when evaluated using certain datasets. However, the high number of academic research has not translated into practical deployments. There are a number of causes behind the lack of production usage. This paper tightens the gap by evaluating the generalisability of a common feature set to different network environments and attack types. Therefore, two feature sets (NetFlow and CICFlowMeter) have been evaluated across three datasets, i.e. CSE-CIC-IDS2018, BoT-IoT, and ToN-IoT. The results showed that the NetFlow feature set enhances the two ML models' detection accuracy in detecting intrusions across different datasets. In addition, due to the complexity of the learning models, the SHAP, an explainable AI methodology, has been adopted to explain and interpret the classification decisions of two ML models. The Shapley values of the features have been analysed across multiple datasets to determine the influence contributed by each feature towards the final ML prediction.

研究の動機と目的

• 学術的な機械学習ベースのインシデント検出システムと、実世界のIoTネットワークにおける展開との間のギャップを埋めること。
• 一般的な特徴量セット（NetFlowおよびCICFlowMeter）が、多様なIoTネットワーク環境および攻撃タイプにわたってどのように汎化するかを評価すること。
• SHAP（SHapley Additive exPlanations）を用いてモデルの解釈性を向上させ、インシデント検出意思決定における信頼性と透明性を高めること。
• 複数のデータセットにわたる個々の特徴量がモデルの予測に与える影響を評価すること。

提案手法

• CSE-CIC-IDS2018、BoT-IoT、ToN-IoTの3つの異なるIoTインシデント検出データセットに対して、NetFlowおよびCICFlowMeterの2つの特徴抽出手法を評価した。
• 抽出された特徴量に基づいて2つの機械学習モデルを学習させ、各データセットにおける検出精度を比較した。
• SHAP（SHapley Additive exPlanations）を用いて、特徴量の重要度スコア（Shapley値）を計算することで、モデルの予測を解釈した。
• すべてのデータセットにわたってSHAP値を分析し、各特徴量が最終分類意思決定に与える寄与度を特定した。
• クロスデータセット評価を用いて、モデルの汎化性能と分布シフトに対するロバストネスを測定した。
• 生産環境への展開を支援するため、特徴量レベルの解釈性に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 NetFlowおよびCICFlowMeterの特徴量セットは、異なるIoTネットワークデータセットにおいて、検出精度の観点でどのように性能を発揮するか？
• RQ2 特徴量セットの選択が、多様なIoT環境における機械学習ベースのインシデント検出モデルの汎化性能にどの程度影響を及えるか？
• RQ3 SHAP分析によって明らかにされた特徴量のうち、モデルの分類意思決定に最も顕著に寄与しているのはどれか？
• RQ4 SHAPに基づく解釈性は、実世界のIoTネットワークにおける機械学習ベースのIDSの信頼性と展開可能性を向上させることができるか？

主な発見

• NetFlow特徴量セットは、評価された3つのデータセット（CSE-CIC-IDS2018、BoT-IoT、ToN-IoT）すべてにおいて、CICFlowMeterよりも一貫して高い検出精度を示した。
• NetFlow特徴量で学習したモデルは、より優れた汎化性能を示し、さまざまなネットワーク状態や攻撃タイプに対しても強いロバストネスを示した。
• SHAP分析により、特定のフロー単位の特徴量（例：継続時間、バイト数、パケット数）がモデルの予測に最も大きな影響を与えていた。
• SHAP値による解釈性のおかげで、モデルの透明性が向上し、生産環境におけるIoTセキュリティシステムへの展開を支援するようになった。
• 本研究では、特徴量セットの選択が、クロスデータセット評価におけるモデルのパフォーマンスと汎化性能に顕著な影響を及えることが確認された。
• NetFlow特徴量とSHAPの解釈性を組み合わせることで、実用的で信頼性のあるIoTネットワークにおける機械学習ベースのインシデント検出への道筋が示された。