[論文レビュー] IoTGeM: Generalizable Models for Behaviour-Based IoT Attack Detection

Kahraman Kostas, Mike Just+1 more|ArXiv.org|Oct 17, 2023

Network Security and Intrusion Detection被引用数 4

ひとこと要約

IoTGeMは、改善された特徴工学と段階的な特徴選択プロセスを用いて、過学習を低減する一般化可能で頑健なフレームワークを提示する。隔離された訓練／テスト分割を採用し、多様な機械学習モデルと解釈可能なAI（SHAP）を組み合わせることで、複数のデータセットで高い検出精度を達成するとともに、再現可能性とモデルの解釈可能性を確保する。

ABSTRACT

Previous research on behavior-based attack detection for networks of IoT devices has resulted in machine learning models whose ability to adapt to unseen data is limited and often not demonstrated. This paper presents IoTGeM, an approach for modeling IoT network attacks that focuses on generalizability, yet also leads to better detection and performance. We first introduce an improved rolling window approach for feature extraction. To reduce overfitting, we then apply a multi-step feature selection process where a Genetic Algorithm (GA) is uniquely guided by exogenous feedback from a separate, independent dataset. To prevent common data leaks that have limited previous models, we build and test our models using strictly isolated train and test datasets. The resulting models are rigorously evaluated using a diverse portfolio of machine learning algorithms and datasets. Our window-based models demonstrate superior generalization compared to traditional flow-based models, particularly when tested on unseen datasets. On these stringent, cross-dataset tests, IoTGeM achieves F1 scores of 99\% for ACK, HTTP, SYN, MHD, and PS attacks, as well as a 94\% F1 score for UDP attacks. Finally, we build confidence in the models by using the SHAP (SHapley Additive exPlanations) explainable AI technique, allowing us to identify the specific features that underlie the accurate detection of attacks.

研究の動機と目的

• データ漏洩と過学習のため、既存の行動ベースIoT侵入検知モデルの一般化可能性が限定的であるという問題に対処する。
• データ漏洩を防ぐために訓練／テストデータを厳密に分離した、再現可能で頑健なIoT攻撃検出手法を構築する。
• 強化されたローリングウインドウ特徴抽出法と遺伝的アルゴリズムを用いた段階的特徴選択プロセスにより、検出性能を向上させる。
• 解釈可能なAI（SHAP）を用いてモデルの解釈性と信頼性を確保し、攻撃検出の背後にある主要な特徴を特定する。
• 複数のデータセット、機械学習モデル、評価指標を用いてフレームワークを検証し、信頼性と一般化能力を確認する。

提案手法

• 従来の手法よりも優れた時間的ネットワーク行動の捉え方を可能にする、新規のローリングウインドウ特徴抽出手法を実装する。
• 外部フィードバックを用いた遺伝的アルゴリズムを用いて、複数段階の特徴選択プロセスを適用し、冗長または過学習しやすい特徴を排除する。
• 訓練データとテストデータを厳密に分離することで、データ漏洩を防止し、モデルの一般化能力を確保する。
• SVM、XGBoost、ランダムフォレスト、ロジスティック回帰などの多様な機械学習モデルと評価指標を用いて、フレームワークを評価する。
• SHAP（SHapley Additive exPlanations）を用いてモデルの意思決定を解釈し、攻撃検出に寄与する最も重要な特徴を同定する。
• すべてのコードとデータセットをGitHub経由で公開し、再現可能性とコミュニティによる検証を確保する。

Figure 2: The visualisation of steps in system implementation.

実験結果

リサーチクエスチョン

• RQ1 行動ベースの機械学習モデルは、未観測のデータセットや攻撃タイプに対しても、高い一般化能力を達成できるか？
• RQ2 提案されたローリングウインドウ特徴抽出手法は、従来の手法と比較して、検出性能をどのように向上させるか？
• RQ3 段階的特徴選択プロセスは、過学習をどの程度低減させ、モデルの頑健性を向上させるか？
• RQ4 どのネットワーク特徴が特定のIoT攻撃を予測する上で最も予測力があり、その重要性はどのように定量的に評価できるか？
• RQ5 解釈可能なAI技術（SHAP）は、正確な攻撃検出を駆動する特徴を効果的に同定・検証できるか？

主な発見

• ロジスティック回帰を用いたPS（ポートスキャン）データセットでは、IoTGeMフレームワークがF1スコア0.994を達成し、ほぼ完璧な検出性能を示した。
• SYN（SYNフラッド）データセットでは、XGBoostがF1スコア0.969を達成し、多様な攻撃タイプにわたる強力な一般化能力を示した。
• 隔離された訓練／テスト分割の使用により、データ漏洩のリスクが顕著に低減され、モデルの信頼性と一般化能力が向上した。
• SHAP解析により、パケット周波数、フロー継続時間、プロトコル固有の異常といった特徴が、複数の攻撃タイプにおいて一貫して予測力を持つことが判明した。
• 段階的特徴選択プロセスにより過学習が低減され、異なるモデルやデータセットにおいて一貫した性能が確認された。
• すべての評価済みデータセットにおいて、F1スコアとAUCの両面でベースライン手法を上回り、性能指標のばらつきも最小限に抑えられた。

Figure 3: Use of data in this study. Train/CV=Training and cross-validation. HPO=Feature reduction and hyperparameter selection. Validation=Data validation and feature selection. S-n= Session n.