[论文解读] Federated Learning for Short-term Residential Load Forecasting

Christopher Briggs, Fan Zhong+1 more|arXiv (Cornell University)|May 27, 2021

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种联邦学习（FL）方法，用于短期住宅负荷预测，通过在智能电表上本地训练模型并聚合全局模型更新，保护用户数据隐私。结果表明，结合分层聚类（FL+HC）与个性化步骤的联邦学习，相比本地模型，预测精度最高可提升5%，同时计算量减少约10倍，证明了隐私保护且高性能的负荷预测是可行的。

ABSTRACT

Load forecasting is an essential task performed within the energy industry to help balance supply with demand and maintain a stable load on the electricity grid. As supply transitions towards less reliable renewable energy generation, smart meters will prove a vital component to facilitate these forecasting tasks. However, smart meter adoption is low among privacy-conscious consumers that fear intrusion upon their fine-grained consumption data. In this work we propose and explore a federated learning (FL) based approach for training forecasting models in a distributed, collaborative manner whilst retaining the privacy of the underlying data. We compare two approaches: FL, and a clustered variant, FL+HC against a non-private, centralised learning approach and a fully private, localised learning approach. Within these approaches, we measure model performance using RMSE and computational efficiency. In addition, we suggest the FL strategies are followed by a personalisation step and show that model performance can be improved by doing so. We show that FL+HC followed by personalisation can achieve a $\sim$5\% improvement in model performance with a $\sim$10x reduction in computation compared to localised learning. Finally we provide advice on private aggregation of predictions for building a private end-to-end load forecasting application.

研究动机与目标

• 为解决阻碍智能电表普及的隐私顾虑，实现负荷预测模型的去中心化训练。
• 评估联邦学习（FL）及其聚类变体（FL+HC）相对于集中式与本地化学习基准的性能表现。
• 评估基于联邦学习的负荷预测中计算效率与模型性能之间的权衡。
• 研究在联邦学习训练后，个性化步骤对模型精度的影响。
• 为端到端私密预测系统中的预测结果私密聚合提供指导。

提出的方法

• 本研究采用长短期记忆（LSTM）网络对住宅用电负荷数据的时间序列进行预测。
• 使用联邦学习（FL）通过聚合客户端（家庭）的本地模型更新来训练全局模型，而无需共享原始数据。
• 采用聚类变体FL+HC，在训练前使用K-means聚类将相似客户端分组，为每个聚类训练专用模型，以应对非独立同分布（non-IID）数据。
• 在全局FL训练完成后，通过使用本地数据对每个客户端的模型进行微调，实现个性化步骤，以提升个体性能。
• 计算效率以总训练样本数（百万）为指标，对比FL、FL+HC、集中式与本地化训练。
• 讨论了预测结果的私密聚合作为最后一步，以实现端到端的私密预测系统。

实验结果

研究问题

• RQ1 联邦学习能否在保护数据隐私的前提下，实现与集中式学习相当或更优的预测性能？
• RQ2 与标准联邦学习相比，FL+HC聚类方法在非独立同分布（non-IID）住宅负荷数据上的性能提升如何？
• RQ3 与本地化学习相比，FL和FL+HC的计算成本如何？是否能够实现计算节省？
• RQ4 在联邦学习训练后应用个性化步骤，是否能显著提升个体家庭的模型精度？
• RQ5 如何实现预测结果的私密聚合，以完成完整的私密端到端预测流程？

主要发现

• 在FL+HC之后加入个性化步骤，相比完全本地化学习，模型性能（RMSE）提升了约5%。
• 性能最佳的FL+HC模型所需训练样本数仅为本地化学习的约1/10，显著降低了计算成本。
• 与本地化训练相比，FL+HC将平均计算量减少了12.7倍，最佳模型减少了13.1倍。
• 个性化步骤增加的计算量极低，仅需在全局FL训练后进行几次微调训练周期。
• FL+HC在精度上优于标准FL，并与集中式学习相当或更优，同时保持了数据隐私。
• 预测结果的私密聚合是可行的，且建议作为构建完整私密预测系统最后一步。