[论文解读] AMI-FML: A Privacy-Preserving Federated Machine Learning Framework for AMI

Milan Biswal, Abu Saleh Tayeen+1 more|arXiv (Cornell University)|Sep 12, 2021

Smart Grid Energy Management被引用 6

一句话总结

本文提出 AMI-FML，一种用于高级计量基础设施（AMI）的隐私保护联邦机器学习框架，该框架在智能电表数据上训练本地LSTM模型，并仅在中央聚合器处聚合模型权重，从而保护用户数据隐私。该框架通过每日模型更新将短期负荷预测的平均绝对误差（MAE）降低11%，并将归一化均方根误差（NRMSE）减少至0.094，同时通过量化和结构化稀疏化技术提升了通信效率。

ABSTRACT

Machine learning (ML) based smart meter data analytics is very promising for energy management and demand-response applications in the advanced metering infrastructure(AMI). A key challenge in developing distributed ML applications for AMI is to preserve user privacy while allowing active end-users participation. This paper addresses this challenge and proposes a privacy-preserving federated learning framework for ML applications in the AMI. We consider each smart meter as a federated edge device hosting an ML application that exchanges information with a central aggregator or a data concentrator, periodically. Instead of transferring the raw data sensed by the smart meters, the ML model weights are transferred to the aggregator to preserve privacy. The aggregator processes these parameters to devise a robust ML model that can be substituted at each edge device. We also discuss strategies to enhance privacy and improve communication efficiency while sharing the ML model parameters, suited for relatively slow network connections in the AMI. We demonstrate the proposed framework on a use case federated ML (FML) application that improves short-term load forecasting (STLF). We use a long short-term memory(LSTM) recurrent neural network (RNN) model for STLF. In our architecture, we assume that there is an aggregator connected to a group of smart meters. The aggregator uses the learned model gradients received from the federated smart meters to generate an aggregate, robust RNN model which improves the forecasting accuracy for individual and aggregated STLF. Our results indicate that with FML, forecasting accuracy is increased while preserving the data privacy of the end-users.

研究动机与目标

• 通过避免原始数据传输，解决AMI数据分析中的用户隐私问题。
• 开发一种适用于智能电网中分布式机器学习应用的通用联邦学习框架。
• 通过模型参数压缩，提升低带宽AMI网络中的通信效率。
• 通过协作式模型训练，在不暴露个体用户数据的前提下，提升短期负荷预测（STLF）的准确性。
• 基于真实智能电表数据，通过概念验证的LSTM-STLF应用验证该框架的有效性。

提出的方法

• 每个智能电表在其自身用电数据上训练本地LSTM模型，仅共享模型权重（梯度）而非原始数据。
• 中央聚合器收集并使用联邦平均法聚合模型更新，形成全局、鲁棒的RNN模型。
• 通过结构化稀疏化（随机掩码）和自适应量化（2–4比特）提升通信效率。
• 通过参数压缩和差分隐私感知技术，最小化对个体数据模式的意外记忆。
• 模型更新以周期性方式交换——每30分钟或每日一次，以平衡响应速度与训练稳定性。
• LSTM模型被训练以捕捉每日和序列性用电模式，利用长期时间依赖关系提升预测性能。

实验结果

研究问题

• RQ1 联邦学习能否在AMI系统中有效应用于智能电表数据分析，同时保护用户隐私？
• RQ2 在AMI环境中，模型更新交换频率（30分钟 vs. 每日）如何影响短期负荷预测的准确性？
• RQ3 通过量化和结构化稀疏化技术，通信效率可提升到何种程度而不降低模型性能？
• RQ4 像4比特量化和随机掩码这样的模型压缩技术，是否能超越减少数据传输，进一步增强隐私保护？
• RQ5 通过联邦平均训练得到的全局模型在短期负荷预测中为何优于本地模型？

主要发现

• AMI-FML框架在每日模型更新下，将平均NRMSE降低至0.094，MAE降低至0.312，相较于非联邦本地模型，MAE性能提升11%。
• 在24小时更新周期下，模型误差指标低于30分钟更新周期，表明更长的时间序列有助于LSTM更好地学习每日用电模式。
• 4比特自适应量化实现NRMSE为0.10，MAE为0.32，与全精度基线模型非常接近，证明了高效压缩且性能损失极小。
• 采用2%零值的随机掩码结构化稀疏化，将误差降低至NRMSE 0.10和MAE 0.34，表明结构化稀疏化可有效保持预测准确性。
• 该框架通过仅传输模型参数，成功保护了用户隐私，避免了原始用电数据的暴露。
• 联邦学习的集成显著提升了所有聚类的预测准确性，在每半小时和每日更新场景下均观察到一致的误差降低。