[论文解读] Towards the Development of Realistic Botnet Dataset in the Internet of Things for Network Forensic Analytics: Bot-IoT Dataset

Nickolaos Koroniotis, Nour Moustafa+2 more|arXiv (Cornell University)|Nov 1, 2018

Network Security and Intrusion Detection被引用 9

一句话总结

本文介绍了Bot-IoT数据集，这是一个用于物联网僵尸网络 forensics 的真实、标注良好的网络流量数据集，通过一个包含多样化攻击场景的受控测试平台构建而成。该数据集在SVM和深度学习模型上表现出色，检测准确率最高达99.99%，F1分数接近完美，为物联网网络中的僵尸网络检测设立了基准。

ABSTRACT

The proliferation of IoT systems, has seen them targeted by malicious third parties. To address this, realistic protection and investigation countermeasures need to be developed. Such countermeasures include network intrusion detection and network forensic systems. For that purpose, a well-structured and representative dataset is paramount for training and validating the credibility of the systems. Although there are several network, in most cases, not much information is given about the Botnet scenarios that were used. This paper, proposes a new dataset, Bot-IoT, which incorporates legitimate and simulated IoT network traffic, along with various types of attacks. We also present a realistic testbed environment for addressing the existing dataset drawbacks of capturing complete network information, accurate labeling, as well as recent and complex attack diversity. Finally, we evaluate the reliability of the BoT-IoT dataset using different statistical and machine learning methods for forensics purposes compared with the existing datasets. This work provides the baseline for allowing botnet identificaiton across IoT-specifc networks. The Bot-IoT dataset can be accessed at [1].

研究动机与目标

• 为解决网络 forensics 分析中缺乏真实、标注良好且多样化的物联网僵尸网络数据集的问题。
• 构建一个可复现的、真实的测试平台环境，以捕获完整的网络流量并准确标注攻击类型。
• 生成一个具有代表性的数据集，涵盖正常物联网流量和多种僵尸网络攻击场景，包括DDoS、DoS、数据外泄和键盘记录。
• 通过统计分析和机器学习模型评估该数据集的可靠性，并与现有数据集进行性能对比。
• 提供一个基础数据集，用于训练和验证物联网环境中先进的僵尸网络检测系统。

提出的方法

• 设计一个包含100多台设备（包括传感器、网关和控制系统）的真实物联网测试平台，模拟真实世界中的物联网网络拓扑结构。
• 部署多种僵尸网络工具（如Mirai、DDoS工具）以模拟多样化的攻击场景，例如DDoS TCP/UDP、DoS HTTP以及数据外泄攻击。
• 按攻击类型和子类别组织原始数据包捕获（PCAPs），并为攻击类别和子类别添加元数据标签。
• 使用网络流级统计特征进行特征提取，包括持续时间、数据包数量、字节数量以及协议特定指标。
• 应用统计技术——皮尔逊积矩相关系数和联合熵——以识别最具信息量的特征并降低维度。
• 在完整特征集和前10大特征子集上训练并评估机器学习模型（SVM、RNN、LSTM），以评估检测性能。

实验结果

研究问题

• RQ1 能否构建一个真实、可复现的物联网测试平台，以生成用于 forensics 分析的代表性僵尸网络流量？
• RQ2 Bot-IoT数据集在使用机器学习模型检测多样化物联网僵尸网络攻击方面是否具有高准确率？
• RQ3 特征选择（如前10大特征）对模型性能和训练效率有何影响？
• RQ4 与现有数据集相比，Bot-IoT数据集在攻击多样性、标注准确性和统计可靠性方面表现如何？
• RQ5 深度学习模型（RNN、LSTM）能否在物联网特定的僵尸网络流量上实现高检测性能，且误报率极低？

主要发现

• 在完整特征数据集上训练的SVM模型在二分类任务中达到最高准确率（0.99998645）和最高召回率（0.99999226）。
• 使用前10大特征的SVM模型在二分类任务中达到最高精确率（0.99999419）和最低误报率（0.01257862）。
• RNN和LSTM模型在所有攻击子类别中均实现了高准确率（超过0.987）和高F1分数（超过0.98），其中DDoS TCP子类别达到97.7%的F1分数。
• 数据外泄攻击的性能指标最低，精确率为0.98529412，召回率为0.91780822，表明对低至中等流量攻击的检测存在挑战。
• 随着数据集规模增大，训练时间增加，其中DoS UDP-Normal流量的训练时间最长（38.74秒）。
• 混淆矩阵确认了大多数攻击类型具有高真正例率和低假正例率，尤其在RNN和LSTM模型使用完整特征数据时表现突出。