[论文解读] FedWOA: A Federated Learning Model that uses the Whale Optimization Algorithm for Renewable Energy Prediction

Viorica Rozina Chifu, Tudor Cioara+3 more|arXiv (Cornell University)|Sep 19, 2023

Smart Grid Energy ManagementEngineering被引用 3

一句话总结

该论文提出FedWOA，一种联邦学习模型，通过整合鲸鱼优化算法（WOA）以提升可再生能源预测中的全局模型聚合效果。通过优化本地模型权重并利用K-Means聚类处理非独立同分布（non-IID）的产消者数据，FedWOA相较于FedAVG实现25%更低的MSE和16%更低的MAE，展现出更高的精度与收敛性。

ABSTRACT

Privacy is important when dealing with sensitive personal information in machine learning models, which require large data sets for training. In the energy field, access to household prosumer energy data is crucial for energy predictions to support energy grid management and large-scale adoption of renewables however citizens are often hesitant to grant access to cloud-based machine learning models. Federated learning has been proposed as a solution to privacy challenges however report issues in generating the global prediction model due to data heterogeneity, variations in generation patterns, and the high number of parameters leading to even lower prediction accuracy. This paper addresses these challenges by introducing FedWOA a novel federated learning model that employs the Whale Optimization Algorithm to aggregate global prediction models from the weights of local LTSM neural network models trained on prosumer energy data. The proposed solution identifies the optimal vector of weights in the search spaces of the local models to construct the global shared model and then is subsequently transmitted to the local nodes to improve the prediction quality at the prosumer site while for handling non-IID data K-Means was used for clustering prosumers with similar scale of energy data. The evaluation results on prosumers energy data have shown that FedWOA can effectively enhance the accuracy of energy prediction models accuracy by 25% for MSE and 16% for MAE compared to FedAVG while demonstrating good convergence and reduced loss.

研究动机与目标

• 通过在产消者能源数据上实现去中心化训练，解决可再生能源预测中的隐私问题。
• 克服联邦学习中因数据异构性与高维参数导致的全局模型精度下降问题。
• 提升在产消者能源系统中常见的非独立同分布（non-IID）数据场景下的预测性能。
• 开发一种鲁棒的聚合机制，利用元启发式优化方法优化全局模型权重。
• 在真实产消者能源数据集上验证模型的有效性，实现更优的收敛性与损失降低。

提出的方法

• FedWOA采用联邦学习框架，其中本地长短期记忆（LSTM）网络在去中心化的产消者能源数据上进行训练。
• 利用鲸鱼优化算法（WOA）通过搜索本地模型权重来计算最优的全局模型权重向量。
• WOA模拟座头鲸的社会行为，迭代优化全局模型聚合过程。
• 应用K-Means聚类将具有相似能源生成模式的产消者分组，以缓解数据非独立同分布（non-IID）问题。
• 将优化后的全局模型发送回本地节点用于推理，从而提升本地预测质量。
• 在训练轮次中持续监控模型收敛性与损失，以确保稳定性与性能提升。

实验结果

研究问题

• RQ1 类似WOA的元启发式优化方法是否能提升联邦学习在可再生能源预测中的全局模型聚合效果？
• RQ2 在非独立同分布（non-IID）数据条件下，FedWOA相较于FedAVG在预测精度方面表现如何？
• RQ3 对产消者进行K-Means聚类在多大程度上提升了模型收敛性并降低了联邦能源预测中的误差？
• RQ4 WOA的集成是否能加快联邦学习流水线中的收敛速度并降低训练损失？
• RQ5 FedWOA是否能在保持数据隐私的前提下，在去中心化的产消者能源系统中维持高精度？

主要发现

• FedWOA在产消者能源预测任务中相较FedAVG将均方误差（MSE）降低了25%。
• FedWOA相较FedAVG在平均绝对误差（MAE）上实现16%的改进，表明其具备更高的预测鲁棒性。
• 该模型在高维且非独立同分布的数据下，仍展现出稳定的训练收敛性。
• 通过将具有相似能源生成特征的产消者进行聚类，K-Means聚类的集成显著提升了模型性能。
• 基于WOA的聚合机制能有效识别最优全局模型权重，优于标准的FedAVG平均聚合方法。
• 所提出的框架在保持数据隐私的同时，实现了去中心化可再生能源系统中更优的预测精度。