[论文解读] Boosting Privately: Privacy-Preserving Federated Extreme Boosting for Mobile Crowdsensing

Yang Liu, Zhuo Ma+4 more|arXiv (Cornell University)|Jul 24, 2019

Mobile Crowdsensing and Crowdsourcing参考文献 40被引用 53

一句话总结

FedXGB 提出了一种隐私保护的联邦 XGBoost 框架，使用混合安全聚合（结合同态加密和秘密分享）来强制聚合并处理移动众包中的用户掉线。它在 HE 基更新中实现接近原始 XGBoost 的准确性，同时降低运行时间和通信量。

ABSTRACT

Recently, Google and other 24 institutions proposed a series of open challenges towards federated learning (FL), which include application expansion and homomorphic encryption (HE). The former aims to expand the applicable machine learning models of FL. The latter focuses on who holds the secret key when applying HE to FL. For the naive HE scheme, the server is set to master the secret key. Such a setting causes a serious problem that if the server does not conduct aggregation before decryption, a chance is left for the server to access the user's update. Inspired by the two challenges, we propose FedXGB, a federated extreme gradient boosting (XGBoost) scheme supporting forced aggregation. FedXGB mainly achieves the following two breakthroughs. First, FedXGB involves a new HE based secure aggregation scheme for FL. By combining the advantages of secret sharing and homomorphic encryption, the algorithm can solve the second challenge mentioned above, and is robust to the user dropout. Then, FedXGB extends FL to a new machine learning model by applying the secure aggregation scheme to the classification and regression tree building of XGBoost. Moreover, we conduct a comprehensive theoretical analysis and extensive experiments to evaluate the security, effectiveness, and efficiency of FedXGB. The results indicate that FedXGB achieves less than 1% accuracy loss compared with the original XGBoost, and can provide about 23.9% runtime and 33.3% communication reduction for HE based model update aggregation of FL.

研究动机与目标

• 在移动众包中推动用于 XGBoost 的隐私保护联邦学习。
• 开发 FedXGB 以实现强制（始终聚合的）梯度更新。
• 提供结合同态加密与秘密分享的安全、掉线鲁棒聚合机制。
• 通过安全地训练 CART 和分割，将联邦学习扩展到 XGBoost。

提出的方法

• 引入带有中央服务器和移动用户的 FedXGB 架构。
• 提出将 Bresson 的加密系统与 Shamir 秘密共享相结合的混合安全聚合 SecAgg。
• 开发 SecBoost 用于安全 CART 构建，SecFind 用于安全分割查找。
• 实现 Key.Agr 以实现安全共享密钥推导，以及 SecMask 用于屏蔽梯度传输。
• 通过 Shamir 分享重新构建缺失的屏蔽密钥来实现掉线恢复。
• 在标准数据集上评估，显示准确度损失<1%、运行时间下降23.9%、通信下降33.3%。

实验结果

研究问题

• RQ1 在不暴露用户私有数据的情况下，如何训练联邦 XGBoost？
• RQ2 在更新被解密时，强制聚合能否防止信息泄露？
• RQ3 FedXGB 在安全聚合过程中的用户掉线如何处理？
• RQ4 所提出的 FL-XGBoost 安全聚合方案在准确性、运行时间、通信方面的性能权衡是什么？
• RQ5 安全的 CART 构建和分割查找在典型的移动众包场景中是否具备可扩展性？

主要发现

• FedXGB 相较于原始 XGBoost 的准确率损失小于 1%。
• 使用 SecAgg 的联邦更新使基于 HE 的聚合的运行时间下降约 23.9%。
• 使用 SecAgg 的联邦更新将通信量降低约 33.3%。
• 安全聚合设计实现了强制聚合，防止在未聚合的情况下服务器解密。
• 通过 Shamir 秘密分享实现掉线鲁棒性，使掉线用户的屏蔽密钥得以恢复，从而实现正确聚合。
• 该方法将 XGBoost 训练扩展到隐私保护的联邦设置，并提供强健的安全保障。