[论文解读] A Secure Federated Learning Framework for Residential Short Term Load Forecasting

Muhammad Akbar Husnoo, Adnan Anwar+4 more|arXiv (Cornell University)|Sep 29, 2022

Electricity Theft Detection Techniques被引用 6

一句话总结

本文提出了一种基于符号随机梯度下降（SignSGD）的隐私安全联邦学习框架，用于住宅短期负荷预测，增强了对拜占庭攻击的鲁棒性并保护了数据隐私。该方法降低了通信开销，并在恶意客户端节点数量增加的情况下仍能保持模型收敛，相较于FedSGD在准确率和计算效率方面均提升了30%。

ABSTRACT

Smart meter measurements, though critical for accurate demand forecasting, face several drawbacks including consumers' privacy, data breach issues, to name a few. Recent literature has explored Federated Learning (FL) as a promising privacy-preserving machine learning alternative which enables collaborative learning of a model without exposing private raw data for short term load forecasting. Despite its virtue, standard FL is still vulnerable to an intractable cyber threat known as Byzantine attack carried out by faulty and/or malicious clients. Therefore, to improve the robustness of federated short-term load forecasting against Byzantine threats, we develop a state-of-the-art differentially private secured FL-based framework that ensures the privacy of the individual smart meter's data while protect the security of FL models and architecture. Our proposed framework leverages the idea of gradient quantization through the Sign Stochastic Gradient Descent (SignSGD) algorithm, where the clients only transmit the `sign' of the gradient to the control centre after local model training. As we highlight through our experiments involving benchmark neural networks with a set of Byzantine attack models, our proposed approach mitigates such threats quite effectively and thus outperforms conventional Fed-SGD models.

研究动机与目标

• 解决因数据共享和潜在网络威胁导致的智能电网负荷预测中的隐私与安全漏洞。
• 缓解住宅负荷预测联邦学习中拜占庭攻击的风险。
• 开发一种通信高效且隐私保护的联邦学习框架，适用于实际智能电网部署。
• 确保模型在数据 poisoning、模型泄露和合谋攻击威胁下的鲁棒性。
• 通过梯度量化和噪声注入提升计算效率，增强可扩展性。

提出的方法

• 利用符号随机梯度下降（SignSGD）仅传输梯度的符号而非完整梯度，降低通信开销并增强鲁棒性。
• 通过在上传前向模型参数添加本地噪声应用差分隐私，防止从梯度中重建原始数据。
• 设计并评估三种数据完整性威胁模型：本地数据 poisoning、模型泄露与 poisoning，以及合谋攻击。
• 采用混合训练-推理流水线，其中模型训练在离线环境中进行，推理在线执行，从而将计算与实时约束解耦。
• 实施集中式聚合机制，将量化和私有的客户端更新合并以形成全局模型。
• 利用真实澳大利亚Ausgrid能源消耗数据，在多种攻击场景下进行实证评估。

Figure 1: An illustration of the steps involved in FL.

实验结果

研究问题

• RQ1 在住宅负荷预测中，基于SignSGD的联邦学习在恶意客户端节点数量不断增加的情况下表现如何？
• RQ2 通过SignSGD实现的梯度量化在多大程度上提升了对数据 poisoning 和模型操纵攻击的抗性？
• RQ3 在客户端应用差分隐私是否能有效防止梯度反演攻击，同时不显著降低模型准确率？
• RQ4 在训练时间和通信成本方面，SignSGD与FedSGD和FedAvg相比，计算效率如何？
• RQ5 在隐私保护的联邦学习设置下，噪声注入对模型收敛性和预测准确率有何影响？

主要发现

• 即使高达50%的客户端为恶意节点，SignSGD仍保持稳定收敛和低损失，而FedSGD则表现出快速性能下降和发散。
• 与FedAvg相比，所提框架将训练时间减少了约20%；与FedSGD相比，减少了约30%，主要归因于梯度传输尺寸的减小。
• 通过本地噪声注入实现的差分隐私有效防止了梯度反演攻击，在不显著损失准确率的前提下保护了个体数据隐私。
• 模型在三种不同的拜占庭威胁模型下均保持鲁棒：本地数据 poisoning、模型泄露与 poisoning，以及合谋攻击者。
• 基于真实Ausgrid数据的实证评估表明，所提框架在实现与标准联邦学习设置相当的预测准确率的同时，显著提升了安全性和效率。
• 该框架展现出强大的泛化能力和可扩展性，适用于隐私敏感的智能电网环境部署。

Figure 2: An illustration of proposed approach.