[论文解读] Federated Intrusion Detection for IoT with Heterogeneous Cohort Privacy

Ajesh Koyatan Chathoth, Abhyuday Jagannatha+1 more|arXiv (Cornell University)|Jan 25, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用 9

一句话总结

本文提出了一种基于持续学习的联邦差分隐私框架，用于物联网入侵检测，能够处理客户端群体间异构的隐私预算。通过将差分隐私与持续学习相结合，该方法在非独立同分布（non-iid）数据和不同隐私约束条件下仍能保持模型性能，相较于基线的DP-SGD方法在真实世界数据集上表现更优。

ABSTRACT

Internet of Things (IoT) devices are becoming increasingly popular and are influencing many application domains such as healthcare and transportation. These devices are used for real-world applications such as sensor monitoring, real-time control. In this work, we look at differentially private (DP) neural network (NN) based network intrusion detection systems (NIDS) to detect intrusion attacks on networks of such IoT devices. Existing NN training solutions in this domain either ignore privacy considerations or assume that the privacy requirements are homogeneous across all users. We show that the performance of existing differentially private stochastic methods degrade for clients with non-identical data distributions when clients' privacy requirements are heterogeneous. We define a cohort-based $(ε,δ)$-DP framework that models the more practical setting of IoT device cohorts with non-identical clients and heterogeneous privacy requirements. We propose two novel continual-learning based DP training methods that are designed to improve model performance in the aforementioned setting. To the best of our knowledge, ours is the first system that employs a continual learning-based approach to handle heterogeneity in client privacy requirements. We evaluate our approach on real datasets and show that our techniques outperform the baselines. We also show that our methods are robust to hyperparameter changes. Lastly, we show that one of our proposed methods can easily adapt to post-hoc relaxations of client privacy requirements.

研究动机与目标

• 解决联邦学习在物联网入侵检测中客户端存在异构隐私需求和非相同数据分布的问题。
• 形式化定义一种基于群体的 $(\epsilon,\delta)$-差分隐私模型，以反映具有隐私感知设备群体的现实物联网部署场景。
• 克服在客户端隐私预算更严格时，其隐私预算耗尽后新数据从隐私约束较低的客户端到达所导致的基于差分隐私模型的性能下降问题。
• 设计新颖的基于持续学习的差分隐私训练方法，防止低隐私预算客户端过往知识的灾难性遗忘。
• 确保对超参数变化的鲁棒性，并支持对客户端隐私要求的事后放松。

提出的方法

• 定义一种基于群体的 $(\epsilon,\delta)$-差分隐私框架，跟踪每个群体的隐私损失，而非单个数据样本。
• 将矩量会计技术（moments accountant）适配用于追踪具有不同隐私预算的异构群体的累积隐私损失。
• 提出两种新颖的基于持续学习的差分隐私训练方法：DP-R（基于经验回放）和DP-SI（基于突触强度）以减轻对过去客户端经验的遗忘。
• 通过在梯度中添加噪声，将差分隐私集成到联邦随机梯度下降（DP-SGD）中，同时利用持续学习机制稳定知识保留。
• 通过应用经验回放和突触完整性正则化，确保在新增来自隐私约束较低客户端的数据后，仍能保持对隐私受限客户端数据的模型性能。
• 通过支持事后隐私放松，使DP-SI能够自适应地重新激活之前遗忘的知识，当隐私预算被放宽时。

实验结果

研究问题

• RQ1 在物联网入侵检测的联邦差分隐私学习中，异构隐私预算和非独立同分布数据分布下，模型性能如何退化？
• RQ2 在具有异构客户端隐私需求的差分隐私联邦学习中，持续学习技术能否有效缓解灾难性遗忘？
• RQ3 在不同超参数设置下，所提出的DP-R和DP-SI方法与基线DP-SGD在准确率和鲁棒性方面相比如何？
• RQ4 所提出的方法是否能够在不从头开始训练的情况下适应客户端隐私预算的事后放松？
• RQ5 基于群体的差分隐私框架在入侵检测中对罕见攻击类别的一般化能力提升程度如何？

主要发现

• 在CSE-CIC-IDS2018数据集上，所提出的基于持续学习的差分隐私方法（DP-R和DP-SI）在异构隐私预算下，整体准确率优于基线DP-SGD。
• 模型性能在超参数变化下保持稳定，表明所提方法具有较强的泛化能力和可靠性。
• DP-SI展现出灵活性，能够有效适应客户端隐私要求的事后放松，实现对先前遗忘知识的重新激活。
• 在基线DP-SGD中观察到的性能下降（尤其是对DOS-Slowloris等罕见攻击类别）被DP-R和DP-SI中的持续学习机制有效缓解。
• 基于群体的 $(\epsilon,\delta)$-差分隐私框架成功建模了现实物联网部署场景，其中设备群体具有不同的隐私期望和数据分布。
• 研究证实，传统DP-SGD在异构隐私设置下因灾难性遗忘而失效，验证了集成持续学习的必要性。