[论文解读] Machine Learning-Based Early Detection of IoT Botnets Using Network-Edge Traffic

Ayush Kumar, Mrinalini Shridhar+2 more|arXiv (Cornell University)|Oct 22, 2020

Network Security and Intrusion Detection被引用 4

一句话总结

EDIMA 是一种轻量级、两阶段的基于机器学习的解决方案，可在网络边缘实现对物联网僵尸网络的早期检测，通过聚合流量分类和基于 ACF 的分析，以接近 100% 的准确率和极低的误报率识别扫描行为和命令与控制（C2）通信。它在树莓派上实现了极低的检测延迟和最小的内存占用，相较于现有方法在鲁棒性和效率方面表现更优。

ABSTRACT

In this work, we present a lightweight IoT botnet detection solution, EDIMA, which is designed to be deployed at the edge gateway installed in home networks and targets early detection of botnets prior to the launch of an attack. EDIMA includes a novel two-stage Machine Learning (ML)-based detector developed specifically for IoT bot detection at the edge gateway. The ML-based bot detector first employs ML algorithms for aggregate traffic classification and subsequently Autocorrelation Function (ACF)-based tests to detect individual bots. The EDIMA architecture also comprises a malware traffic database, a policy engine, a feature extractor and a traffic parser. Performance evaluation results show that EDIMA achieves high bot scanning and bot-CnC traffic detection accuracies with very low false positive rates. The detection performance is also shown to be robust to an increase in the number of IoT devices connected to the edge gateway where EDIMA is deployed. Further, the runtime performance analysis of a Python implementation of EDIMA deployed on a Raspberry Pi reveals low bot detection delays and low RAM consumption. EDIMA is also shown to outperform existing detection techniques for bot scanning traffic and bot-CnC server communication.

研究动机与目标

• 为应对日益增长的物联网僵尸网络威胁，特别是利用 Mirai、Reaper 和 Satori 等恶意软件的僵尸网络，这些恶意软件利用设备安全薄弱环节，可发动大规模 DDoS 攻击。
• 设计一种轻量级、可部署的检测系统，用于家庭网络中的边缘网关，实现在大规模攻击发生前的早期僵尸网络检测。
• 通过提出一种基于网络的可扩展解决方案，克服主机安全方案的局限性，适用于资源受限的物联网环境。
• 确保在连接的物联网设备数量增加的情况下，仍能保持高检测准确率和极低的误报率。
• 在低成本硬件（如树莓派）上评估运行时性能，以确保实际部署的可行性。

提出的方法

• EDIMA 采用两阶段检测机制：首先，使用监督机器学习分类器（如随机森林）分析聚合网关流量，检测表明存在僵尸网络扫描的异常模式。
• 其次，对单个设备流量应用自相关函数（ACF）测试，以检测周期性僵尸网络 C2 通信，即使在存在噪声的情况下也能有效识别。
• 该系统集成了已知物联网恶意软件流量的恶意软件 PCAP 数据库、特征提取器、流量解析器以及用于自动响应的策略引擎。
• 机器学习模型使用来自蜜罐的标记化流量样本进行训练，并定期重新训练，以适应不断演变的威胁。
• 使用 Python 实现的 EDIMA 部署在树莓派上，用于评估实时性能，包括检测延迟和内存消耗。
• 该架构设计具有可扩展性，可在出现新型 C2 协议或规避技术时，轻松更新检测逻辑。

实验结果

研究问题

• RQ1 轻量级、可部署于边缘的系统能否以高准确率和极低误报率检测物联网僵尸网络的扫描和 C2 流量？
• RQ2 随着连接到单个网关的物联网设备数量增加，EDIMA 的检测性能如何变化？
• RQ3 EDIMA 是否能在树莓派等低端硬件上实现低检测延迟和最小资源消耗？
• RQ4 EDIMA 在检测僵尸网络扫描和 C2 通信方面，与现有检测技术相比表现如何？
• RQ5 在检测零日恶意软件或使用对抗性流量模式的规避变种时，该系统存在哪些局限性？

主要发现

• EDIMA 使用随机森林及其他机器学习模型，对僵尸网络扫描和僵尸网络 C2 流量的检测准确率接近 100%，且误报率极低。
• 即使连接的物联网设备数量超过两倍，检测性能依然保持稳健，表明其具备出色的可扩展性。
• 在树莓派上部署的 EDIMA Python 实现表现出极低的僵尸网络检测延迟和最小的内存占用，证实其在实际部署中的可行性。
• EDIMA 在识别僵尸网络扫描和 C2 通信流量方面，无论是准确率还是可靠性，均优于现有检测技术。
• 基于 ACF 的方法即使在存在噪声的情况下，也能有效检测周期性 C2 信号，前提是噪声与信号不相关。
• 该系统对通过改变扫描频率或 C2 消息模式进行的规避尝试存在脆弱性，但此类更改会降低恶意软件效率，可能损害 C2 控制能力。