[论文解读] A Fair and Efficient Hybrid Federated Learning Framework based on XGBoost for Distributed Power Prediction

Haizhou Liu, Xuan Zhang+2 more|arXiv (Cornell University)|Jan 8, 2022

Privacy-Preserving Technologies in Data被引用 10

一句话总结

本文提出了一种混合联邦学习框架，结合横向和纵向联邦学习与XGBoost，用于智能电网中的分布式电力预测。通过整合基于树的模型和动态任务分配方案，该框架提升了预测准确性、公平性和计算效率——相比固定分配方案，训练时间减少了42%，公平性指数达到0.609–0.739。

ABSTRACT

In a modern power system, real-time data on power generation/consumption and its relevant features are stored in various distributed parties, including household meters, transformer stations and external organizations. To fully exploit the underlying patterns of these distributed data for accurate power prediction, federated learning is needed as a collaborative but privacy-preserving training scheme. However, current federated learning frameworks are polarized towards addressing either the horizontal or vertical separation of data, and tend to overlook the case where both are present. Furthermore, in mainstream horizontal federated learning frameworks, only artificial neural networks are employed to learn the data patterns, which are considered less accurate and interpretable compared to tree-based models on tabular datasets. To this end, we propose a hybrid federated learning framework based on XGBoost, for distributed power prediction from real-time external features. In addition to introducing boosted trees to improve accuracy and interpretability, we combine horizontal and vertical federated learning, to address the scenario where features are scattered in local heterogeneous parties and samples are scattered in various local districts. Moreover, we design a dynamic task allocation scheme such that each party gets a fair share of information, and the computing power of each party can be fully leveraged to boost training efficiency. A follow-up case study is presented to justify the necessity of adopting the proposed framework. The advantages of the proposed framework in fairness, efficiency and accuracy performance are also confirmed.

研究动机与目标

• 解决现有联邦学习框架在电力系统中同时处理横向与纵向数据划分的空白。
• 通过在联邦学习中用XGBoost替代神经网络，提升表格化电力数据预测的准确性与模型可解释性。
• 设计一种动态任务分配方案，根据各方处理能力公平分配计算负载。
• 在具有异构数据源的真实城市电力预测场景中评估框架性能。
• 证明该框架在公平性、效率与准确性方面优于传统横向与纵向联邦学习。

提出的方法

• 该框架结合了横向联邦学习（在具有共享特征的区域之间）与纵向联邦学习（在具有共享样本但互补特征的各方之间）。
• 采用XGBoost作为基础模型，以利用其在表格数据集上的高精度与可解释性，克服神经网络在联邦设置中的局限性。
• 动态任务分配方案根据各区域的计算速度分配计算任务（梯度聚合与节点分裂），以优化训练效率。
• 中央服务器通过安全聚合协议聚合所有参与方的模型更新，同时保护数据隐私。
• 该框架支持特征异构性与样本异构性，支持多个本地区域与外部数据提供方之间的协作。
• 采用两步训练流程：首先在各参与方本地数据上训练XGBoost模型；其次以安全、隐私保护的方式聚合模型更新。

实验结果

研究问题

• RQ1 混合联邦学习框架能否有效处理电力系统数据中的横向与纵向数据划分？
• RQ2 与神经网络相比，使用XGBoost对联邦电力预测中的预测准确性与可解释性有何影响？
• RQ3 在异构联邦学习环境中，动态任务分配在多大程度上提升了训练效率与公平性？
• RQ4 在真实世界的电力预测任务中，该框架与纯横向或纵向联邦学习相比表现如何？
• RQ5 在计算异构性条件下，动态任务分配中公平性与效率之间存在何种权衡？

主要发现

• 混合联邦学习框架在所有测试方法中实现了最高的预测准确性，预测的电力曲线与实际值高度吻合，尤其在农历新年与疫情期间的District 10表现突出。
• 与固定分配方案相比，该框架将训练时间减少了42%，训练耗时9,017秒，而固定方案预计需16,237秒。
• 动态任务分配方案的公平性指数在0.609至0.739之间，显著高于固定分配方案的0.1，表明公平性显著提升。
• 计算能力较高的区域被分配了更多节点分裂任务，而计算能力较慢的区域（如Districts 9和10）则被排除在节点分裂任务之外，以避免成为性能瓶颈。
• 动态分配方案实现了梯度聚合时间等于最慢参与方的时间，表明实现了最优负载均衡。
• 该框架优于纯横向联邦学习，后者因缺少来自中国移动的人口流动等外部特征而无法实现准确预测。