[论文解读] FedTrees: A Novel Computation-Communication Efficient Federated Learning Framework Investigated in Smart Grids

Mohammad Al-Quraan, Ahsan Khan+4 more|arXiv (Cornell University)|Sep 30, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

FedTrees 提出了一种计算与通信高效的联邦学习框架，采用 LightGBM 进行智能电网中的能源需求预测。通过利用集成学习和基于差值的早停机制，FedTrees 在仅 2% 的计算时间与 13% 的通信轮次下，实现了与 FedAvg 相当的准确性，显著提升了资源效率。

ABSTRACT

Smart energy performance monitoring and optimisation at the supplier and consumer levels is essential to realising smart cities. In order to implement a more sustainable energy management plan, it is crucial to conduct a better energy forecast. The next-generation smart meters can also be used to measure, record, and report energy consumption data, which can be used to train machine learning (ML) models for predicting energy needs. However, sharing fine-grained energy data and performing centralised learning may compromise users' privacy and leave them vulnerable to several attacks. This study addresses this issue by utilising federated learning (FL), an emerging technique that performs ML model training at the user level, where data resides. We introduce FedTrees, a new, lightweight FL framework that benefits from the outstanding features of ensemble learning. Furthermore, we developed a delta-based early stopping algorithm to monitor FL training and stop it when it does not need to continue. The simulation results demonstrate that FedTrees outperforms the most popular federated averaging (FedAvg) framework and the baseline Persistence model for providing accurate energy forecasting patterns while taking only 2% of the computation time and 13% of the communication rounds compared to FedAvg, saving considerable amounts of computation and communication resources.

研究动机与目标

• 为解决智能电网能源预测中集中式数据收集带来的隐私与可扩展性挑战。
• 降低联邦学习中深度学习模型（如 LSTM）带来的高计算与通信成本。
• 开发一种轻量级、高效的联邦学习框架，适用于智能电网中变电站级别的部署。
• 通过自适应早停机制提升训练效率，当模型性能不再提升时自动终止训练。
• 在短期能源需求预测任务中，评估该框架与 FedAvg 及基线模型的性能表现。

提出的方法

• FedTrees 在联邦学习设置中采用 LightGBM（LGBM）作为客户端模型，利用其梯度提升决策树算法，确保快速训练与低内存占用。
• 该框架采用基于差值的早停算法，监控各通信轮次间验证损失的变化，当性能提升低于阈值时终止训练。
• 通过在模型收敛后停止训练，动态减少通信轮次，避免不必要的迭代。
• 全局模型通过 FedAvg 聚合方式更新，但训练轮次仅限于模型收敛所需的最少轮次。
• 通过特征选择聚焦于前四个最相关的特征，进一步降低计算负载并提升训练效率。
• 系统在跨孤岛联邦学习设置中进行评估，以变电站作为客户端，实现可扩展且保护隐私的能源预测。

实验结果

研究问题

• RQ1 轻量级集成模型（如 LightGBM）是否能在联邦能源预测中超越深度学习模型（如 LSTM），同时显著降低计算与通信成本？
• RQ2 基于差值的早停机制在联邦学习中是否能有效减少训练轮次，同时不牺牲智能电网预测的准确性？
• RQ3 特征选择对联邦能源预测模型的性能与效率有何影响？
• RQ4 FedTrees 在预测准确性、通信效率与计算时间方面，与 FedAvg 及 Persistence 基线模型相比表现如何？
• RQ5 在智能电网应用中，变电站级别的联邦学习是否相比客户端级别的联邦学习展现出更好的可扩展性与隐私保护能力？

主要发现

• FedTrees 实现了 0.0173 的平均绝对误差（MAE）与 3.69% 的平均绝对百分比误差（MAPE），在准确性上优于 Persistence 模型，并与 FedAvg 接近持平。
• FedTrees 仅需 65 次通信轮次，占 FedAvg 所需 491 次轮次的 13%，显著降低了通信开销。
• FedTrees 的计算时间仅为 26.2 秒，仅占 FedAvg 所需 1356 秒的 2%，展现出卓越的效率。
• 当仅使用前四个特征时，FedTrees 将通信轮次减少至 50 次，计算时间降至 8.8 秒，同时保持 3.54% 的 MAPE，性能稳定。
• 基于差值的早停算法有效通过早期检测收敛来减少训练轮次，最优参数设置为 delta = 0.00001 与 window size = 10（适用于 LGBM）。
• 特征选择使 FedTrees 性能提升，而 FedAvg 的性能略有下降，凸显了 FedTrees 对输入维度变化的鲁棒性。