[论文解读] IoT Security: Botnet detection in IoT using Machine learning

Satish Pokhrel, Hassan Abbas+1 more|arXiv (Cornell University)|Apr 6, 2021

Network Security and Intrusion Detection参考文献 21被引用 81

一句话总结

该论文提出一个针对物联网的僗botnet-DDoS检测模型，使用有监督ML（KNN、朴素贝叶斯、MLP-ANN）并结合特征工程与SMOTE，基于BoT-IoT数据；KNN表现最佳，数据不平衡需要SMOTE和交叉验证以获得可靠评估。

ABSTRACT

The acceptance of Internet of Things (IoT) applications and services has seen an enormous rise of interest in IoT. Organizations have begun to create various IoT based gadgets ranging from small personal devices such as a smart watch to a whole network of smart grid, smart mining, smart manufacturing, and autonomous driver-less vehicles. The overwhelming amount and ubiquitous presence have attracted potential hackers for cyber-attacks and data theft. Security is considered as one of the prominent challenges in IoT. The key scope of this research work is to propose an innovative model using machine learning algorithm to detect and mitigate botnet-based distributed denial of service (DDoS) attack in IoT network. Our proposed model tackles the security issue concerning the threats from bots. Different machine learning algorithms such as K- Nearest Neighbour (KNN), Naive Bayes model and Multi-layer Perception Artificial Neural Network (MLP ANN) were used to develop a model where data are trained by BoT-IoT dataset. The best algorithm was selected by a reference point based on accuracy percentage and area under the receiver operating characteristics curve (ROC AUC) score. Feature engineering and Synthetic minority oversampling technique (SMOTE) were combined with machine learning algorithms (MLAs). Performance comparison of three algorithms used was done in class imbalance dataset and on the class balanced dataset.

研究动机与目标

• 通过解决物联网网络中的基于僵尸网络的DDoS威胁来提升物联网安全。
• 开发一个基于机器学习的检测器，使用BoT-IoT流量数据进行训练。
• 通过SMOTE和特征工程缓解类别不平衡问题。
• 在真实的物联网僵尸网络数据上评估并比较多种有监督ML算法。

提出的方法

• 使用包括僵尸网络流量和正常物联网流量的BoT-IoT数据集进行模型训练与评估。
• 进行数据清洗、归一化，并转换为数值特征。
• 通过卡方（F-score）进行特征工程，筛选出前八个特征。
• 使用SMOTE对数据集进行平衡，创建一个类别平衡的集合。
• 以80/20训练/测试分割和5折交叉验证，训练并评估高斯朴素贝叶斯、KNN和MLP-ANN分类器。
• 使用准确率、精确率、召回率、F1分数和ROC AUC评估性能，鉴于严重的类别不平衡，强调ROC AUC。

实验结果

研究问题

• RQ1 哪种有监督ML算法（高斯NB、KNN、MLP-ANN）在BoT-IoT数据上提供最佳的僵尸网络检测性能？
• RQ2 类别不平衡对模型性能的影响以及SMOTE平衡对结果的影响？
• RQ3 哪些特征（按卡方筛选的前八个）最有效地区分僵尸网络与正常物联网流量？
• RQ4 与简单的训练/测试分割相比，交叉验证结果在未见数据上的模型可靠性如何？

主要发现

• 在真实的（不平衡的）BoT-IoT数据集上，高斯NB的准确率约为100%，但ROC AUC约为0.51，召回率/F1很低，表明在不平衡数据中的判别能力较差。
• KNN在两个数据集上都表现出色，在不平衡数据上的准确率为99.6%、ROC AUC为99.2%，在通过SMOTE平衡的数据上，准确率为92.1%、ROC AUC为92.2%。
• MLP-ANN的准确率为87.4%，但精确率/召回率/F1/ROC AUC相对较低，表明在此任务中表现不及KNN。
• SMOTE将数据集平衡为1,989,656个样本（僵尸网络和正常流量数量相等），从而使模型性能的评估更可靠。
• 通过卡方特征评分确定的8个最具判别性的特征为：字节数(bytes)、发送字节数(sbytes)、接收字节数(dbytes)、速率(rate)、包数(pkts)、发送包数(spkts)、发送速率(srate)、接收速率(drate)。