[论文解读] Externally validating the IoTDevID device identification methodology using the CIC IoT 2022 Dataset

Kahraman Kostas, Mike Just+1 more|arXiv (Cornell University)|Jul 3, 2023

Internet Traffic Analysis and Secure E-votingComputer Science被引用 3

一句话总结

本论文使用 CIC-IoT-2022 数据集对外部验证 IoTDevID 设备识别方法，表明其特征集与聚合算法在 31 种仅含 IP 的设备类别上实现了优异性能——F1 得分为 92.50，同时强调了数据多样性与数量在模型成功中的关键作用，尤其是对数据量有限的非 IP 设备而言。

ABSTRACT

In the era of rapid IoT device proliferation, recognizing, diagnosing, and securing these devices are crucial tasks. The IoTDevID method (IEEE Internet of Things 2022) proposes a machine learning approach for device identification using network packet features. In this article we present a validation study of the IoTDevID method by testing core components, namely its feature set and its aggregation algorithm, on a new dataset. The new dataset (CIC-IoT-2022) offers several advantages over earlier datasets, including a larger number of devices, multiple instances of the same device, both IP and non-IP device data, normal (benign) usage data, and diverse usage profiles, such as active and idle states. Using this independent dataset, we explore the validity of IoTDevID's core components, and also examine the impacts of the new data on model performance. Our results indicate that data diversity is important to model performance. For example, models trained with active usage data outperformed those trained with idle usage data, and multiple usage data similarly improved performance. Results for IoTDevID were strong with a 92.50 F1 score for 31 IP-only device classes, similar to our results on previous datasets. In all cases, the IoTDevID aggregation algorithm improved model performance. For non-IP devices we obtained a 78.80 F1 score for 40 device classes, though with much less data, confirming that data quantity is also important to model performance.

研究动机与目标

• 使用新的、更全面的数据集对外部验证 IoTDevID 方法，以评估其鲁棒性与泛化能力。
• 评估数据多样性（如主动使用与空闲使用状态、多个设备实例）对模型性能的影响。
• 检验 IoTDevID 的特征选择与聚合算法在异构设备类型的真实环境中是否有效。
• 研究数据量与质量对识别准确率的影响，特别是对训练样本较少的非 IP 设备。
• 通过避免数据泄露并使用隔离的训练/测试划分，确保方法论的严谨性，以增强可复现性。

提出的方法

• 本研究将 IoTDevID 框架应用于 CIC-IoT-2022 数据集，该数据集包含 IP 和非 IP 设备（如 ZigBee、Z-Wave），并涵盖主动与空闲使用配置。
• 采用遗传算法进行多层特征选择，以消除易导致过拟合的特征（如会话特定标识符，例如端口号、序列号）。
• 核心聚合算法通过合并具有相似模式的数据包，降低噪声并增强特征一致性，从而提高识别准确率。
• 通过使用隔离的数据划分进行模型训练与测试，防止数据泄露，确保性能估计的有效性。
• 使用标准指标评估性能：精确率、召回率与 F1 得分，报告宏平均与加权平均值。
• 实验对比了不同数据条件下（主动使用、空闲使用及组合使用配置）的模型性能。

Figure 1: Example transfer problem in the Aalto dataset. Network data is collected at the gateway. Between D-LinkDoorSensor and D-LinkHomeHub there is only Z-Wave as a communication medium. Between D-LinkHomeHub and the gateway, there is only Ethernet. Data from the D-LinkDoorSensor is decapsulated

实验结果

研究问题

• RQ1 IoTDevID 方法是否能很好地泛化到像 CIC-IoT-2022 这样更大、更丰富的新型数据集？
• RQ2 数据多样性（特别是主动使用与空闲使用）如何影响设备识别模型的性能？
• RQ3 IoTDevID 聚合算法在不同设备类型上能多大程度上提升识别准确率？
• RQ4 数据量与质量如何影响模型性能，特别是对训练样本较少的非 IP 设备？
• RQ5 当在具有异构设备特性与使用配置的真实数据上测试时，IoTDevID 框架能否保持高性能？

主要发现

• 在主动使用数据上评估时，IoTDevID 方法在 31 种仅含 IP 的设备类别上实现了 92.50 的 F1 得分，证实了其出色的泛化能力与鲁棒性。
• 在主动使用数据上训练的模型优于在空闲使用数据上训练的模型，表明数据多样性显著提升了模型性能。
• IoTDevID 聚合算法在 IP 设备上持续提升了性能，但对非 IP 设备无影响，原因在于共享 MAC 地址触发了异常处理机制。
• 对于非 IP 设备，在 40 个设备类别上实现了 78.80 的 F1 得分，但性能受限于训练数据不足，表现为数据包数量与 F1 得分之间存在负相关性。
• 非 IP 设备的引入并未降低 IP 设备的性能，仅在极少数情况下（如 Sonos One Speaker）出现轻微异常，表明该方法在不同设备类型间具有稳定性。
• 本研究证实，只要采用适当的数据划分与特征选择技术，IoT 设备识别中可避免数据泄露与特征过拟合。

Figure 2: Steps of the IoTDevID study.