[论文解读] A Hybrid Approach to Privacy-Preserving Federated Learning

Stacey Truex, Nathalie Baracaldo+5 more|arXiv (Cornell University)|Dec 7, 2018

Privacy-Preserving Technologies in Data参考文献 40被引用 70

一句话总结

该论文提出一个联邦学习系统，结合差分隐私和安全多方计算并引入可调信任阈值，在多种模型类型下比本地DP具有更高准确性，同时提供正式的隐私保证。

ABSTRACT

Federated learning facilitates the collaborative training of models without the sharing of raw data. However, recent attacks demonstrate that simply maintaining data locality during training processes does not provide sufficient privacy guarantees. Rather, we need a federated learning system capable of preventing inference over both the messages exchanged during training and the final trained model while ensuring the resulting model also has acceptable predictive accuracy. Existing federated learning approaches either use secure multiparty computation (SMC) which is vulnerable to inference or differential privacy which can lead to low accuracy given a large number of parties with relatively small amounts of data each. In this paper, we present an alternative approach that utilizes both differential privacy and SMC to balance these trade-offs. Combining differential privacy with secure multiparty computation enables us to reduce the growth of noise injection as the number of parties increases without sacrificing privacy while maintaining a pre-defined rate of trust. Our system is therefore a scalable approach that protects against inference threats and produces models with high accuracy. Additionally, our system can be used to train a variety of machine learning models, which we validate with experimental results on 3 different machine learning algorithms. Our experiments demonstrate that our approach out-performs state of the art solutions.

研究动机与目标

• 在隐私或法律原因限制数据共享的场景中推动联邦学习的应用。
• 在保持模型精度的同时提供形式化的隐私保证。
• 开发一个可扩展的系统，在隐私保护的联邦环境中支持多种机器学习模型。
• 引入一个可调的信任参数，以应对共谋及参与者之间的信任差异。

提出的方法

• 使用阈值 Paillier 加密方案，将差分隐私与安全多方计算集成。
• 允许聚合器收集带噪声的加密响应，并仅在有阈值数量的不共谋方参与下对聚合结果解密。
• 通过利用 SMC 和信任参数 t，调整加密方式来减少 DP 的噪声。
• 在隐私约束下支持多种模型（决策树、CNN、线性 SVM）的端到端训练。
• 提供一个端到端算法（Algorithm 1），概述私有化联邦学习的步骤。

实验结果

研究问题

• RQ1 将差分隐私与安全多方计算结合，是否能在不牺牲精度的情况下为联邦学习提供形式化的隐私保证？
• RQ2 在所提系统中，信任参数 t 如何影响噪声水平、准确性以及对共谋的抵抗能力？
• RQ3 在隐私保护的联邦设置下，该方法是否对不同模型族（决策树、CNN、SVM）均有效？
• RQ4 随着参与方数量增加和加密开销的增加，系统的可扩展性如何？

主要发现

• 混合 DP+SMC 方法在保持形式化隐私保证的同时，取得比本地 DP更高的准确性。
• 通过利用阈值 Paillier 加密可减少噪声，随着信任参数缓解共谋风险，准确性提高。
• 该方法在三种不同模型类型上得到演示：决策树、卷积神经网络和线性 SVM。
• 实验表明，该方法可扩展到多方，随着参与方增加，加密开销保持相对稳定。
• 在所报告的任务中，该方法优于最先进的隐私保护 FL 基线。