[論文レビュー] Feature Analysis for ML-based IIoT Intrusion Detection.

Mohanad Sarhan, Siamak Layeghy+1 more|arXiv (Cornell University)|Aug 29, 2021

Network Security and Intrusion Detection参考文献 24被引用数 11

ひとこと要約

本稿では、機械学習ベースの産業用インターネット（IIoT）インシデント検出における最適な特徴量セットを分析するために、UNSW-NB15、CSE-CIC-IDS2018、ToN-IoTのデータセットを、ネイティブ形式およびNetFlow形式で用い、カイ二乗検定、情報ゲイン、相関に基づく特徴選択を評価した。検出精度は初期の特徴追加によって急速に向上するが、すぐに収束するため、計算コストおよびストレージコストを顕著に削減しつつ、リソース制限のあるIIoT環境でもほぼ最適な精度を維持できることが示された。

ABSTRACT

Industrial Internet of Things (IIoT) networks have become an increasingly attractive target of cyberattacks. Powerful Machine Learning (ML) models have recently been adopted to implement Network Intrusion Detection Systems (NIDSs), which can protect IIoT networks. For the successful training of such ML models, it is important to select the right set of data features, which maximise the detection accuracy as well as computational efficiency. This paper provides an extensive analysis of the optimal feature sets in terms of the importance and predictive power of network attacks. Three feature selection algorithms; chi-square, information gain and correlation have been utilised to identify and rank data features. The features are fed into two ML classifiers; deep feed-forward and random forest, to measure their attack detection accuracy. The experimental evaluation considered three NIDS datasets: UNSW-NB15, CSE-CIC-IDS2018, and ToN-IoT in their proprietary flow format. In addition, the respective variants in NetFlow format were also considered, i.e., NF-UNSW-NB15, NF-CSE-CIC-IDS2018, and NF-ToN-IoT. The experimental evaluation explored the marginal benefit of adding features one-by-one. Our results show that the accuracy initially increases rapidly with the addition of features, but converges quickly to the maximum achievable detection accuracy. Our results demonstrate a significant potential of reducing the computational and storage cost of NIDS while maintaining near-optimal detection accuracy. This has particular relevance in IIoT systems, with typically limited computational and storage resource.

研究の動機と目的

• 機械学習を用いたIIoTネットワークインシデント検出において、最も重要で予測可能な特徴量を特定すること。
• カイ二乗検定、情報ゲイン、相関といった異なる特徴選択アルゴリズムが検出精度に与える影響を評価すること。
• 特徴量を段階的に追加した際の、精度と効率における限界的利益を評価すること。
• ネイティブフロー形式およびNetFlow形式の両方で、複数のNIDSデータセットにおける性能を比較すること。
• 計算およびストレージのオーバーヘッドを最小限に抑えつつ、検出精度を損なわずにリソース効率の良いインシデント検出をIIoTシステムで実現すること。

提案手法

• IIoTネットワークトラフィックデータから最も関連性の高い特徴量をランク付け・選択するために、カイ二乗検定、情報ゲイン、相関に基づく3つの特徴選択アルゴリズムを適用した。
• 選択された特徴量を、深層順方向ニューラルネットワークとランダムフォレストの2つの機械学習分類器に投入し、検出精度を評価した。
• UNSW-NB15、CSE-CIC-IDS2018、ToN-IoTの3つのNIDSデータセットを、元のフローフォーマットおよびNetFlowフォーマットの両方で実験に使用した。
• 各新しい特徴量の追加による検出精度の限界的利益を測定するために、特徴量を段階的に追加した。
• データ表現の違いが特徴量の有効性およびモデル効率に与える影響を評価するために、異なるデータフォーマットでの検出性能を評価した。
• 特徴量セットの有効性を評価し、収束点を特定するために、主に正解率を指標として用いた。

実験結果

リサーチクエスチョン

• RQ1 カイ二乗検定、情報ゲイン、相関のうち、どの特徴選択手法がIIoTインシデント検出で最も高い検出精度を達成するか？
• RQ2 特徴量を段階的に追加した場合、検出精度はどのように変化するか。また、どこで収束するか？
• RQ3 ネイティブフロー形式とNetFlow形式の間で、特徴量の有効性および検出精度に差は生じるか？
• RQ4 計算およびストレージコストを削減しつつ、近似的に最適な検出精度を維持できる、特徴量の縮小されたセットは存在するか？
• RQ5 UNSW-NB15、CSE-CIC-IDS2018、ToN-IoTといった異なるIIoT NIDSデータセットにおいて、結果にどのような差が生じるか？

主な発見

• 最初の数個の特徴量を追加すると検出精度が急速に向上するが、すぐに最大達成可能な水準に収束するため、ある点を過ぎると収益が急激に減少することが示された。
• 特徴選択アルゴリズムの使用により、高い精度を達成するために必要な特徴量の数を削減することで、モデルの効率が顕著に向上した。
• NetFlow形式のデータは、インシデント検出に十分な予測力を保持しており、精度に大きな損失を来さずにストレージおよび送信のオーバーヘッドを削減できる。
• 最適な特徴量セットはデータセットごとに異なるが、わずかな特徴量のサブセットが複数の分類器で一貫して高い検出精度を達成した。
• 特徴量の追加による限界的利益は急速に減少するため、ほぼ最適なパフォーマンスを得るには、慎重に選択された少数の特徴量のみで十分であることが示された。
• 計算およびストレージコストは、最も情報量の多い特徴量のみを選択することで顕著に削減可能であり、特にリソースが制限されるIIoT環境において顕著な利点をもたらす。