[论文解读] Clustered Federated Learning Architecture for Network Anomaly Detection in Large Scale Heterogeneous IoT Networks

Xabier Sáez-de-Cámara, José Luis Flores+3 more|arXiv (Cornell University)|Mar 28, 2023

Network Security and Intrusion Detection被引用 9

一句话总结

论文提出了一种带有 unsupervised 设备聚类的聚簇化联邦学习架构，将聚类整合到 FL 流水线中，以训练基于轻量级自编码器的异常检测模型，用于大规模异构物联网/工业物联网网络，在 Gotham 测试台上进行真实威胁评估。

ABSTRACT

There is a growing trend of cyberattacks against Internet of Things (IoT) devices; moreover, the sophistication and motivation of those attacks is increasing. The vast scale of IoT, diverse hardware and software, and being typically placed in uncontrolled environments make traditional IT security mechanisms such as signature-based intrusion detection and prevention systems challenging to integrate. They also struggle to cope with the rapidly evolving IoT threat landscape due to long delays between the analysis and publication of the detection rules. Machine learning methods have shown faster response to emerging threats; however, model training architectures like cloud or edge computing face multiple drawbacks in IoT settings, including network overhead and data isolation arising from the large scale and heterogeneity that characterizes these networks. This work presents an architecture for training unsupervised models for network intrusion detection in large, distributed IoT and Industrial IoT (IIoT) deployments. We leverage Federated Learning (FL) to collaboratively train between peers and reduce isolation and network overhead problems. We build upon it to include an unsupervised device clustering algorithm fully integrated into the FL pipeline to address the heterogeneity issues that arise in FL settings. The architecture is implemented and evaluated using a testbed that includes various emulated IoT/IIoT devices and attackers interacting in a complex network topology comprising 100 emulated devices, 30 switches and 10 routers. The anomaly detection models are evaluated on real attacks performed by the testbed's threat actors, including the entire Mirai malware lifecycle, an additional botnet based on the Merlin command and control server and other red-teaming tools performing scanning activities and multiple attacks targeting the emulated devices.

研究动机与目标

• 解决传统 ML 方法在数据隔离和网络开销方面在大规模异构 IoT/IIoT 网络中的异常检测挑战。
• 开发一种无监督、隐私保护的联邦学习训练框架，降低数据集中化并在本地隔离数据。
• 在 FL 流水线中整合无监督设备聚类（模型指纹）以处理非 IID 数据分布和异质性。
• 在具有多样化设备和真实攻击场景的现实仿真 IoT/IIoT 测试台上评估提出的聚簇化 FL 架构。

提出的方法

• 提出一个聚簇化的 Federated Learning (FL) 过程，其中本地模型部分训练、参数指纹化，并应用聚类来将具有相似数据分布的设备分组。
• 将聚类结果整合到并行、簇特定的 FL 训练中，以生成多个专业化全局模型，而非单一全局模型。
• 对展平后的模型参数进行 PCA 降维，并使用带轮廓系数验证的 K-means 聚类来确定簇的数量 K。
• 实现一个基于轻量自编码器的无监督异常检测器，在良性流量上训练，并通过对新样本的重构误差进行评估。
• 采用一个通用的 FL 优化框架（算法 1），在标准 FedAvg 之外包含自适应客户端和服务器优化步骤。
• 在聚簇 FL 流水线中评估不同的 FL 聚合函数（ServerOpt 变体）。

实验结果

研究问题

• RQ1 带整合模型指纹的聚簇 FL 能否有效处理非 IID、异构 IoT 数据以进行无监督异常检测？
• RQ2 与单一全局模型相比，提出的基于聚簇的 FL 方法是否改善了收敛性和检测性能？
• RQ3 在这一 FL 支持的异构环境中，轻量级自编码器作为无监督异常检测器的性能如何？
• RQ4 在大规模 IoT 部署中，聚类步骤对网络开销和隐私保护的影响如何？

主要发现

• 该架构能够在不需要带标签的攻击数据的情况下，在一个大型、异构的 IoT/IIoT 网络中进行无监督异常检测。
• 结合 PCA 和 K-means 的模型指纹化与局部模型更新有效聚类设备，支持簇特定的 FL 训练。
• 通过聚簇 FL 流水线训练的自编码器在不需要攻击数据的情况下，利用重构误差来检测异常。
• 方法在拥有 100 台仿真设备、30 个交换机、10 个路由器以及基于 Mirai- 与 Merlin 的真实攻击场景的 Gotham 测试台上得到验证。
• 结果包括与最先进方法的对比实验，展示了聚簇化 FL 在异构环境中对物联网安全的实用性。