[论文解读] FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging

Yujin Han, Pan Du+1 more|arXiv (Cornell University)|Apr 3, 2022

Privacy-Preserving Technologies in Data被引用 8

一句话总结

该论文提出FedGBF，一种垂直联邦学习框架，通过在每个提升轮次并行训练多个决策树，将梯度提升与装袋法相结合，显著减少训练时间的同时保持性能。其动态变体Dynamic FedGBF通过自适应调整超参数进一步提升效率，在基准数据集上训练速度比SecureBoost快达74%，且模型准确率相当。

ABSTRACT

Federated learning, conducive to solving data privacy and security problems, has attracted increasing attention recently. However, the existing federated boosting model sequentially builds a decision tree model with the weak base learner, resulting in redundant boosting steps and high interactive communication costs. In contrast, the federated bagging model saves time by building multi-decision trees in parallel, but it suffers from performance loss. With the aim of obtaining an outstanding performance with less time cost, we propose a novel model in a vertically federated setting termed as Federated Gradient Boosting Forest (FedGBF). FedGBF simultaneously integrates the boosting and bagging's preponderance by building the decision trees in parallel as a base learner for boosting. Subsequent to FedGBF, the problem of hyperparameters tuning is rising. Then we propose the Dynamic FedGBF, which dynamically changes each forest's parameters and thus reduces the complexity. Finally, the experiments based on the benchmark datasets demonstrate the superiority of our method.

研究动机与目标

• 解决垂直联邦学习中顺序梯度提升带来的高通信与训练成本问题。
• 通过整合提升原理克服联邦装袋法中的性能下降问题，提升模型准确率。
• 通过联邦设置下的动态超参数调优，降低模型复杂度与冗余性。
• 在最小化训练时间的同时实现高性能的垂直联邦学习，并具备强大的隐私保障。

提出的方法

• FedGBF在每个提升轮次并行构建多个决策树，利用装袋法提升每棵树的性能。
• 每一层提升将多个基学习器的输出进行组合，增强泛化能力并减少所需的提升轮次。
• Dynamic FedGBF采用动态参数调整策略，根据每轮提升自适应调整森林深度、树的数量和采样率。
• 该框架使用安全聚合与加密特征共享技术，保护垂直联邦学习中各参与方的数据隐私。
• 模型训练采用客户端-服务器架构，主动方负责协调树的训练与聚合，被动方提供加密梯度与分裂信息。
• 该方法支持顺序与并行树训练，性能与效率在不同并行化假设下均得到评估。

实验结果

研究问题

• RQ1 在垂直联邦学习设置下，将装袋法与梯度提升结合是否能在不牺牲模型性能的前提下减少训练时间？
• RQ2 动态超参数调优在联邦梯度提升中如何影响模型复杂度与训练效率？
• RQ3 与顺序提升相比，每轮提升中并行训练多棵树在通信与计算成本方面可降低多少？
• RQ4 在真实世界基准数据集上，FedGBF与SecureBoost在AUC、准确率、F1分数和运行时间方面表现如何？

主要发现

• 在Give Me Some Credit与Default of Credit Card Clients数据集上，Dynamic FedGBF在所有测试的提升轮次中，AUC、准确率与F1分数均与SecureBoost相当。
• 在Give Me Some Credit数据集上，当树并行训练时，Dynamic FedGBF将训练时间减少至SecureBoost的22%至26%。
• 即使在最坏的顺序训练场景下，由于采样减少与参数调优优化，Dynamic FedGBF仍比SecureBoost快6%至9%。
• 在理想并行化条件下，与SecureBoost相比，Dynamic FedGBF的训练时间最高可减少74%，且性能损失可忽略。
• Dynamic FedGBF的时间估计误差低于10%，且随着提升轮次增加而减小，表明其性能预测具有高度可靠性。
• 通过加密特征交换与安全聚合，该框架维持了强大的隐私保障，实现无需数据共享的合作训练。