[论文解读] HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning

Runhua Xu, Nathalie Baracaldo+3 more|arXiv (Cornell University)|Dec 12, 2019

Privacy-Preserving Technologies in Data参考文献 41被引用 40

一句话总结

HybridAlpha 使用一个基于多输入功能加密的 SM C 在联邦学习中，以在保持模型性能和隐私的同时降低训练时间和通信量，即使在参与者动态变化时。

ABSTRACT

Federated learning has emerged as a promising approach for collaborative and privacy-preserving learning. Participants in a federated learning process cooperatively train a model by exchanging model parameters instead of the actual training data, which they might want to keep private. However, parameter interaction and the resulting model still might disclose information about the training data used. To address these privacy concerns, several approaches have been proposed based on differential privacy and secure multiparty computation (SMC), among others. They often result in large communication overhead and slow training time. In this paper, we propose HybridAlpha, an approach for privacy-preserving federated learning employing an SMC protocol based on functional encryption. This protocol is simple, efficient and resilient to participants dropping out. We evaluate our approach regarding the training time and data volume exchanged using a federated learning process to train a CNN on the MNIST data set. Evaluation against existing crypto-based SMC solutions shows that HybridAlpha can reduce the training time by 68% and data transfer volume by 92% on average while providing the same model performance and privacy guarantees as the existing solutions.

研究动机与目标

• 推动隐私保护的联邦学习，并在模型更新期间限制数据泄露。
• 相较于现有基于密码学的 SM C 方法，降低通信开销和训练时间。
• 在不重新密钥的情况下，支持动态参与者参与（退出与新加入）。
• 对诚实但好奇的聚合者和串谋参与者提供强隐私保护保证。
• 展示在 MNIST 的 CNN 上的可应用性并与基线 SMC 方法比较。

提出的方法

• 在联邦学习中使用多输入功能加密（MIFE）方案执行安全聚合。
• 使用可信第三方机构（TPA）初始化密钥并分发每个参与者的公钥。
• 将差分隐私机制集成到基于 MIFE 的聚合中。
• 引入推理防护模块以限制可能暴露单个更新的密钥/攻击向量。
• 通过调整加权聚合向量，在不进行全面重新密钥的情况下允许动态参与。
• 提供对现有 SMC 方法的分析与基准测试，以量化效率提升。

实验结果

研究问题

• RQ1 HybridAlpha 是否能够在比现有基于 SMC 的 FL 方法更少的密码轮次下实现隐私保护聚合？
• RQ2 与 TP-SMC 和 P-SMC 基线相比，基于功能加密的方法如何影响训练时间、通信成本和模型准确性？
• RQ3 HybridAlpha 在训练过程中能否稳健地处理退出和新参与者加入？
• RQ4 在定义的威胁模型（诚实但好奇的聚合者、串谋参与者、受信任的 TPA）下的安全/隐私保证是什么？

主要发现

• 与现有基于密码学的 SMC 解决方案相比，训练时间平均降低了 68%。
• 数据传输量平均降低 92%。
• HybridAlpha 实现与现有方法相同的模型性能和隐私保证。
• 该框架支持在不重新密钥的情况下实现带有退出和重新加入的动态参与。
• 推理防护模块通过抑制好奇聚合者和串谋参与者的推理攻击。
• 在 MNIST 的 CNN 上的评估表明效率提升和强隐私保护。