[论文解读] A Modern Analysis of Aging Machine Learning Based IoT Cybersecurity Methods

Sam Strecker, Rushit Dave+2 more|arXiv (Cornell University)|Oct 15, 2021

IoT and Edge/Fog Computing参考文献 15被引用 4

一句话总结

本研究使用 Aposemat IoT-23 数据集（2018–2019）评估了三种机器学习模型——随机森林（RF）、支持向量机（SVM）和 K-最近邻（KNN）——在物联网系统中入侵和恶意软件检测方面的性能。RF 在入侵检测中达到最高准确率（92.96%），在恶意软件检测中达到 92.27%，尽管存在模型老化问题，仍显示出在当前物联网网络安全环境中的强大有效性。

ABSTRACT

Modern scientific advancements often contribute to the introduction and refinement of never-before-seen technologies. This can be quite the task for humans to maintain and monitor and as a result, our society has become reliant on machine learning to assist in this task. With new technology comes new methods and thus new ways to circumvent existing cyber security measures. This study examines the effectiveness of three distinct Internet of Things cyber security algorithms currently used in industry today for malware and intrusion detection: Random Forest (RF), Support-Vector Machine (SVM), and K-Nearest Neighbor (KNN). Each algorithm was trained and tested on the Aposemat IoT-23 dataset which was published in January 2020 with the earliest of captures from 2018 and latest from 2019. The RF, SVM, and KNN reached peak accuracies of 92.96%, 86.23%, and 91.48%, respectively, in intrusion detection and 92.27%, 83.52%, and 89.80% in malware detection. It was found all three algorithms are capable of being effectively utilized for the current landscape of IoT cyber security in 2021.

研究动机与目标

• 评估广泛使用的机器学习模型在物联网网络安全中的当前有效性，尽管其模型已显老化。
• 评估 RF、SVM 和 KNN 在一个现代且具有代表性的物联网数据集（Aposemat IoT-23）上的性能，该数据集涵盖 2018–2019 年间的数据。
• 确定这些老化机器学习模型是否仍适用于当代物联网环境中实时入侵和恶意软件检测。
• 为工业物联网安全应用中的模型选择提供实证基准。

提出的方法

• 本研究采用 Aposemat IoT-23 数据集，该数据集是近期发布的物联网网络流量基准，涵盖 2018 至 2019 年的数据。
• 对三种经典机器学习模型——随机森林（RF）、支持向量机（SVM）和 K-最近邻（KNN）——在该数据集上进行训练和测试。
• 模型训练与评估遵循标准的交叉验证和性能指标协议，包括准确率、精确率和召回率。
• 模型分别针对两项任务进行评估：入侵检测和恶意软件检测。
• 对所有三种算法应用超参数调优，以优化模型性能。
• 性能以准确率为首要指标进行量化，结果分别报告于两项检测任务中。

实验结果

研究问题

• RQ1 在使用近期数据集的情况下，老化机器学习模型（RF、SVM、KNN）在检测现代物联网入侵和恶意软件方面的有效性如何？
• RQ2 在 Aposemat IoT-23 数据集上，RF、SVM 和 KNN 在检测准确率方面的相对表现如何？
• RQ3 尽管这些模型已使用多年且应用广泛，它们是否仍适用于当前的物联网网络安全应用？
• RQ4 这些模型能否很好地泛化到 2018–2019 年间的真实物联网网络流量模式？
• RQ5 在三种模型之间，可解释性、训练复杂度与准确率之间的性能权衡如何？

主要发现

• 随机森林（RF）在入侵检测中达到最高准确率 92.96%，优于 SVM 和 KNN。
• 在恶意软件检测中，RF 达到 92.27% 的准确率，再次在三者中最高。
• SVM 在入侵检测中准确率为 86.23%，在恶意软件检测中为 83.52%，表现中等。
• KNN 在入侵检测中准确率为 91.48%，在恶意软件检测中为 89.80%，表现强劲但略低于 RF。
• 所有三种模型在当前物联网网络安全任务中均表现出实际可行性，其中 RF 表现最为有效。
• 结果表明，尽管模型已老化，但若在具有代表性的现代数据集上进行训练，这些经典机器学习模型在物联网威胁检测中仍具有效性。