[论文解读] Feature Analysis for ML-based IIoT Intrusion Detection.

Mohanad Sarhan, Siamak Layeghy+1 more|arXiv (Cornell University)|Aug 29, 2021

Network Security and Intrusion Detection参考文献 24被引用 11

一句话总结

本文通过在原始流量和NetFlow格式下对UNSW-NB15、CSE-CIC-IDS2018和ToN-IoT数据集进行卡方检验、信息增益和基于相关性的特征选择评估，分析了基于机器学习的工业物联网（IIoT）入侵检测的最佳特征集。结果表明，检测准确率在初始添加特征时迅速提升，但很快达到收敛，从而在保持接近最优准确率的同时显著降低计算和存储成本，适用于资源受限的IIoT环境。

ABSTRACT

Industrial Internet of Things (IIoT) networks have become an increasingly attractive target of cyberattacks. Powerful Machine Learning (ML) models have recently been adopted to implement Network Intrusion Detection Systems (NIDSs), which can protect IIoT networks. For the successful training of such ML models, it is important to select the right set of data features, which maximise the detection accuracy as well as computational efficiency. This paper provides an extensive analysis of the optimal feature sets in terms of the importance and predictive power of network attacks. Three feature selection algorithms; chi-square, information gain and correlation have been utilised to identify and rank data features. The features are fed into two ML classifiers; deep feed-forward and random forest, to measure their attack detection accuracy. The experimental evaluation considered three NIDS datasets: UNSW-NB15, CSE-CIC-IDS2018, and ToN-IoT in their proprietary flow format. In addition, the respective variants in NetFlow format were also considered, i.e., NF-UNSW-NB15, NF-CSE-CIC-IDS2018, and NF-ToN-IoT. The experimental evaluation explored the marginal benefit of adding features one-by-one. Our results show that the accuracy initially increases rapidly with the addition of features, but converges quickly to the maximum achievable detection accuracy. Our results demonstrate a significant potential of reducing the computational and storage cost of NIDS while maintaining near-optimal detection accuracy. This has particular relevance in IIoT systems, with typically limited computational and storage resource.

研究动机与目标

• 识别用于IIoT网络入侵检测的最重要且最具预测性的特征。
• 评估不同特征选择算法——卡方检验、信息增益和相关性——对检测准确率的影响。
• 评估逐项添加特征在准确率和效率方面的边际收益。
• 在原始流量和NetFlow格式下，对比多个NIDS数据集的性能表现。
• 通过最小化计算和存储开销，在不牺牲检测准确率的前提下，实现IIoT系统中的资源高效入侵检测。

提出的方法

• 应用三种特征选择算法——卡方检验、信息增益和相关性——对IIoT网络流量数据中的特征进行排序和选择。
• 将选定的特征输入两种机器学习分类器：深度前馈神经网络和随机森林，以评估检测准确率。
• 在三个NIDS数据集——UNSW-NB15、CSE-CIC-IDS2018和ToN-IoT——上开展实验，涵盖原始流量和NetFlow格式。
• 通过逐项添加特征来测量每新增一个特征所带来的检测准确率边际提升。
• 评估不同数据格式下的检测性能，以评估数据表示对特征效用和模型效率的影响。
• 以准确率为首要指标，评估特征集的有效性并识别收敛点。

实验结果

研究问题

• RQ1 在IIoT入侵检测中，卡方检验、信息增益或相关性这三种特征选择方法中，哪一种能实现最高的检测准确率？
• RQ2 随着特征逐项增加，检测准确率如何变化？在何时达到收敛？
• RQ3 在特征效用和检测准确率方面，原始流量格式与NetFlow格式之间存在何种性能差异？
• RQ4 是否可以通过减少特征数量，在保持接近最优检测准确率的同时降低计算和存储成本？
• RQ5 在UNSW-NB15、CSE-CIC-IDS2018和ToN-IoT等不同IIoT NIDS数据集中，结果有何差异？

主要发现

• 检测准确率在添加前几个特征时迅速提升，但很快收敛至最大可实现水平，表明超过某一临界点后收益递减。
• 使用特征选择算法可显著提升模型效率，减少实现高准确率所需的特征数量。
• NetFlow格式的数据仍具备足够的预测能力用于入侵检测，可在不造成显著准确率损失的前提下降低存储和传输开销。
• 不同数据集的最优特征集存在差异，但一小部分特征在多个分类器中均能持续提供高检测准确率。
• 新增特征的边际收益迅速下降，表明仅需精心挑选的特征子集即可实现接近最优的性能。
• 通过仅选择最具信息量的特征，可大幅降低计算和存储成本，这对资源受限的IIoT环境尤为有利。