[論文レビュー] On Generalisability of Machine Learning-based Network Intrusion Detection Systems

Siamak Layeghy, Marius Portmann|arXiv (Cornell University)|May 9, 2022

Network Security and Intrusion Detection被引用数 11

ひとこと要約

本論文は、最近公開された4つのベンチマークデータセットを用いて、機械学習ベースのネットワーク侵入検知システム（NIDS）の一般化性能を調査している。モデルがすべてのデータセットにわたって良好に一般化しないこと、一般化性能が顕著に非対称であること、分布シフトの下で特徴量とクラスの対応関係が崩れるため、教師ありモデルに比べて教師なしモデルがクロスドメイン設定で優れた性能を示すことが判明した。

ABSTRACT

Many of the proposed machine learning (ML) based network intrusion detection systems (NIDSs) achieve near perfect detection performance when evaluated on synthetic benchmark datasets. Though, there is no record of if and how these results generalise to other network scenarios, in particular to real-world networks. In this paper, we investigate the generalisability property of ML-based NIDSs by extensively evaluating seven supervised and unsupervised learning models on four recently published benchmark NIDS datasets. Our investigation indicates that none of the considered models is able to generalise over all studied datasets. Interestingly, our results also indicate that the generalisability has a high degree of asymmetry, i.e., swapping the source and target domains can significantly change the classification performance. Our investigation also indicates that overall, unsupervised learning methods generalise better than supervised learning models in our considered scenarios. Using SHAP values to explain these results indicates that the lack of generalisability is mainly due to the presence of strong correspondence between the values of one or more features and Attack/Benign classes in one dataset-model combination and its absence in other datasets that have different feature distributions.

研究の動機と目的

• 複数のベンチマークデータセットにわたる機械学習ベースのNIDSの一般化性能を調査すること、特に実世界の展開環境における性能を対象とする。
• 標準ベンチマークで高い性能を示すモデルが、未観測のネットワーク環境にも一般化するかどうかを特定すること。
• 教師あり学習モデルと教師なし学習モデルのクロスデータセット評価における性能を比較すること。
• SHAP値を用いて、異なるデータ分布におけるモデル意思決定の背後にある要因を特定し、一般化の失敗要因を同定すること。
• 学術的NIDS研究と実際の展開の間のギャップを埋めるために、モデルの移行性における失敗モードを診断すること。

提案手法

• 本研究は、同一の特徴量セットを有する4つの最近公開されたNetFlow変換済みNIDSデータセットを用い、教師あり4モデルと教師なし3モデルの合計7つの機械学習モデルを評価した。
• 各モデルは1つのデータセットで訓練され、4つのすべてのデータセット（訓練データセットを含む）で評価され、単ドメインとマルチドメイン性能を比較した。
• 一般化性能の非対称性を評価するために、両方向（ソース→ターゲットおよびターゲット→ソース）でのクロス評価を実施した。
• モデルの予測を解釈し、攻撃クラスまたは健全クラスと強く関連する特徴量を同定するために、SHAP（SHapley Additive exPlanations）値を計算した。
• すべてのモデル-データセット組み合わせにおいて、標準指標（正解率、検出率、F1スコア）を用いて性能を測定した。
• 一般化性能を定量化するために、単ドメイン評価とクロスドメイン評価の間に統計的比較を実施した。

実験結果

リサーチクエスチョン

• RQ1 機械学習ベースのNIDSモデルが1つのベンチマークデータセットで訓練された場合、他のベンチマークデータセットへどの程度一般化するか？
• RQ2 ソースとターゲットデータセットを入れ替えた場合、機械学習ベースのNIDSモデルの一般化性能は対称的か？
• RQ3 教師なし学習モデルは、異なるNIDSデータセット間で教師あり学習モデルよりも優れた一般化性能を示すか？
• RQ4 どの特徴量やモデルパターンが異なるデータ分布間での一般化の欠如を説明できるか？
• RQ5 SHAP値は、クロスドメイン移行を妨げる単純でデータ依存の意思決定ルールの存在をどのように明らかにするか？

主な発見

• 評価対象の7つの機械学習モデルすべてが、4つのベンチマークデータセットすべてにわたって良好に一般化しなかったことから、顕著な一般化ギャップが存在することが示された。
• 一般化性能は顕著に非対称であった：ソースとターゲットデータセットを入れ替えた場合、性能が著しく低下し、モデルの移行に方向性依存性が存在することが示された。
• 教師なし学習モデルは、単ドメイン性能が低かったにもかかわらず、クロスデータセット評価において教師ありモデルを上回った。
• 特定のデータセット-モデル組み合わせで高い性能を示したのは、主に単純で強い特徴量-クラス対応関係（例：MAX_TTL値が健全と攻撃トラフィックを明確に分離）に起因していた。
• SHAP分析により、特定の特徴量に依存する単一ルールに依存するモデルは、ターゲットデータセットの特徴量分布がシフトした場合に一般化に失敗することが明らかになった。
• 一般化の欠如は、同じモデルと特徴量を使用しても、ターゲットデータセットに一貫した強く明確な特徴量-クラス関係が存在しないために起因していた。