[论文解读] Cloud-based Federated Boosting for Mobile Crowdsensing

Zhuzhu Wang, Yilong Yang+4 more|arXiv (Cornell University)|May 9, 2020

Privacy-Preserving Technologies in Data参考文献 31被引用 5

一句话总结

该论文提出FedXGB，一种基于秘密共享的联邦学习架构，可在移动众包环境中实现XGBoost模型的隐私保护训练。通过利用秘密共享技术实现安全的CART构建与模型预测，FedXGB能够抵御用户数据重建攻击和模型盗取攻击，在保护数据、梯度和模型参数的同时，与非私有的XGBoost相比准确率损失低于1%。

ABSTRACT

The application of federated extreme gradient boosting to mobile crowdsensing apps brings several benefits, in particular high performance on efficiency and classification. However, it also brings a new challenge for data and model privacy protection. Besides it being vulnerable to Generative Adversarial Network (GAN) based user data reconstruction attack, there is not the existing architecture that considers how to preserve model privacy. In this paper, we propose a secret sharing based federated learning architecture FedXGB to achieve the privacy-preserving extreme gradient boosting for mobile crowdsensing. Specifically, we first build a secure classification and regression tree (CART) of XGBoost using secret sharing. Then, we propose a secure prediction protocol to protect the model privacy of XGBoost in mobile crowdsensing. We conduct a comprehensive theoretical analysis and extensive experiments to evaluate the security, effectiveness, and efficiency of FedXGB. The results indicate that FedXGB is secure against the honest-but-curious adversaries and attains less than 1% accuracy loss compared with the original XGBoost model.

研究动机与目标

• 解决现有用于移动众包的联邦学习架构中模型隐私保护不足的问题。
• 缓解通过梯度聚合上的GAN攻击导致的用户数据重建风险。
• 防止攻击者通过访问或逆向工程发布模型而实施的模型盗取行为。
• 通过处理联邦训练中的用户退出问题，支持动态用户参与。
• 设计一种安全、高效且可扩展的架构，用于去中心化移动感知环境下的隐私保护极端梯度提升。

提出的方法

• 采用加法秘密共享技术，在XGBoost训练过程中分发并保护用户数据与梯度。
• 设计安全协议，利用秘密共享输入构建分类与回归树（CART），防止数据重建。
• 实现基于秘密共享的预测协议，加密模型参数，防止模型泄露。
• 引入边缘服务器，从架构层面增强隐私保护并减轻中心服务器负载。
• 使用秘密共享梯度的梯度聚合机制，防止攻击者通过GAN技术重建输入数据。
• 应用带正则化的优化方法，限制通过求解逆问题进行数据重建的可行性。

实验结果

研究问题

• RQ1 秘密共享技术能否在移动众包的联邦XGBoost训练过程中有效保护用户数据隐私？
• RQ2 所提出的架构能否在将模型共享给用户时防止模型隐私泄露？
• RQ3 与标准联邦学习相比，FedXGB在抵御基于GAN的用户数据重建攻击方面效果如何？
• RQ4 FedXGB在准确率和训练效率方面的性能开销如何？
• RQ5 边缘服务器的引入如何提升联邦XGBoost训练中的隐私保护与可扩展性？

主要发现

• FedXGB与原始XGBoost模型相比，准确率损失低于1%，表现出极高的模型保真度。
• 该架构能有效抵御用户数据重建攻击：针对FedXGB的GAN攻击仅生成随机噪声，无法还原出可识别的图像。
• 在FedXGB下重建图像的灰度级频率直方图与原始数据无任何相似性，证实其对特征恢复具有抵抗能力。
• 在CART构建中使用秘密共享，可防止中心服务器或边缘服务器从梯度中重建输入数据。
• 模型预测协议确保即使用户访问模型，也无法逆向工程或窃取完整的模型参数。
• FedXGB保持了高效率与可扩展性，支持大规模移动众包中动态用户参与。