[论文解读] Federated Learning for Intrusion Detection in IoT Security: A Hybrid Ensemble Approach

Sayan Chatterjee, Manjesh K. Hanawal|arXiv (Cornell University)|Jun 25, 2021

Network Security and Intrusion Detection被引用 4

一句话总结

本文提出一种用于物联网安全的混合集成入侵检测系统（PHEC），采用联邦学习以保护隐私，并提出一种抗噪声变体（NT-PHEC），以提升对标签噪声的鲁棒性。该方法结合KNN、随机森林和多层感知机（MLP）分类器，并使用加权损失函数，在保持高真正例率（TPR）和低假正例率（FPR）的同时，优于现有最先进模型——尤其在集中式与联邦学习设置下的噪声数据中表现更优。

ABSTRACT

Critical role of Internet of Things (IoT) in various domains like smart city, healthcare, supply chain and transportation has made them the target of malicious attacks. Past works in this area focused on centralized Intrusion Detection System (IDS), assuming the existence of a central entity to perform data analysis and identify threats. However, such IDS may not always be feasible, mainly due to spread of data across multiple sources and gathering at central node can be costly. Also, the earlier works primarily focused on improving True Positive Rate (TPR) and ignored the False Positive Rate (FPR), which is also essential to avoid unnecessary downtime of the systems. In this paper, we first present an architecture for IDS based on hybrid ensemble model, named PHEC, which gives improved performance compared to state-of-the-art architectures. We then adapt this model to a federated learning framework that performs local training and aggregates only the model parameters. Next, we propose Noise-Tolerant PHEC in centralized and federated settings to address the label-noise problem. The proposed idea uses classifiers using weighted convex surrogate loss functions. Natural robustness of KNN classifier towards noisy data is also used in the proposed architecture. Experimental results on four benchmark datasets drawn from various security attacks show that our model achieves high TPR while keeping FPR low on noisy and clean data. Further, they also demonstrate that the hybrid ensemble models achieve performance in federated settings close to that of the centralized settings.

研究动机与目标

• 解决集中式入侵检测系统（IDS）在物联网环境中因数据集中化导致的高通信开销与隐私担忧。
• 设计一种混合集成模型（PHEC），通过可调阈值实现高真正例率（TPR）与低假正例率（FPR）之间的良好平衡。
• 将PHEC适配至联邦学习框架，实现在保护数据隐私前提下的去中心化训练。
• 通过引入加权凸代理损失函数与KNN的鲁棒性，解决训练数据中标签噪声的挑战，提出抗噪声PHEC（NT-PHEC）。
• 在集中式与联邦学习设置下，于基准物联网数据集上评估PHEC与NT-PHEC在干净与噪声条件下的性能表现。

提出的方法

• 设计一种基于概率的混合集成分类器（PHEC），通过加权平均融合KNN与随机森林的输出，最终预测基于可调阈值γ。
• 通过将非可微模型（KNN、RF）替换为多层感知机（MLP）以实现PHEC在联邦学习中的适配，支持本地训练与参数共享。
• 引入抗噪声PHEC（NT-PHEC），采用加权凸代理损失函数，降低模型对误标数据的敏感性，适用于集中式与联邦学习场景。
• 通过限制NT-PHEC中的KNN分类器的K ≥ 5，利用KNN对噪声数据的天然鲁棒性，减少对噪声标签的过拟合。
• 在联邦学习中通过FedAvg聚合各设备模型参数，共享MLP权重以支持基于梯度的优化。
• 在联邦学习设置中采用单层MLP以降低复杂度，而PHEC则使用深层MLP（多隐藏层）以更好地捕捉干净数据中的模式。

实验结果

研究问题

• RQ1 混合集成模型能否在物联网入侵检测中实现高TPR与低FPR之间的良好权衡，且能否通过单一超参数实现调节？
• RQ2 PHEC在联邦学习中的性能与其中心化版本相比如何，尤其在检测准确率与鲁棒性方面？
• RQ3 标签噪声在多大程度上会降低传统集成模型在物联网IDS中的性能，且该问题能否被有效缓解？
• RQ4 所提出的抗噪声PHEC（NT-PHEC）在集中式与联邦学习设置下，相较于标准PHEC，是否在噪声数据集上显著提升检测准确率？
• RQ5 在联邦物联网环境中，加权凸代理损失函数与KNN的鲁棒性是否能有效提升模型在真实世界标签噪声条件下的泛化能力？

主要发现

• 在干净数据上，PHEC在集中式与联邦学习设置下均优于NT-PHEC，集中式场景下平均准确率差异为2.1%，联邦学习场景下为4%，归因于PHEC在模型灵活性与集成能力上的优势。
• 在噪声数据上，NT-PHEC显著优于PHEC，在四个数据集的集中式设置中实现平均8.53%的准确率提升，展现出强大的抗噪能力。
• 在联邦学习设置下，NT-PHEC在噪声数据上的平均准确率较PHEC提升2.67%，证实其在去中心化、噪声环境中的有效性。
• 在DS2OS数据集（20%噪声）中，NT-PHEC在联邦学习设置下达到95.13%的准确率，而PHEC仅为88.46%，凸显其对高噪声水平的鲁棒性。
• 在Gas Pipeline数据集（20%噪声）中，NT-PHEC在集中式设置下达到92.74%的准确率，联邦学习设置下为89.98%，表现出跨设置的强一致性。
• 所提出的NT-PHEC模型即使在罕见攻击样本代表性不足的情况下仍保持高检测性能，因噪声鲁棒性训练稳定了联邦平均过程，降低了对常见攻击类型的偏差。