[论文解读] FedML-HE: An Efficient Homomorphic-Encryption-Based Privacy-Preserving Federated Learning System

Weizhao Jin, Yuhang Yao+3 more|arXiv (Cornell University)|Mar 20, 2023

Privacy-Preserving Technologies in Data被引用 35

一句话总结

FedML-HE 引入选择性参数加密，以实现高效的基于同态加密的隐私保护联邦学习，在大模型下保持强隐私保障的同时显著降低开销。

ABSTRACT

Federated Learning trains machine learning models on distributed devices by aggregating local model updates instead of local data. However, privacy concerns arise as the aggregated local models on the server may reveal sensitive personal information by inversion attacks. Privacy-preserving methods, such as homomorphic encryption (HE), then become necessary for FL training. Despite HE's privacy advantages, its applications suffer from impractical overheads, especially for foundation models. In this paper, we present FedML-HE, the first practical federated learning system with efficient HE-based secure model aggregation. FedML-HE proposes to selectively encrypt sensitive parameters, significantly reducing both computation and communication overheads during training while providing customizable privacy preservation. Our optimized system demonstrates considerable overhead reduction, particularly for large foundation models (e.g., ~10x reduction for ResNet-50, and up to ~40x reduction for BERT), demonstrating the potential for scalable HE-based FL deployment.

研究动机与目标

• 在标准 FL 中隐私担忧的动机：明文模型更新可能泄露数据。
• 提出一个高效的基于 HE 的联邦学习系统，采用选择性加密以降低计算和通信开销。
• 以可实践、可扩展的方式实现安全聚合和基础模型训练。

提出的方法

• 提出选择性参数加密，仅对最具隐私敏感的模型参数进行加密。
• 使用三阶段的 FedML-HE 工作流程：加密密钥协商、加密掩码计算、和加密的联邦学习。
• 采用单密钥 HE 设置，并提供可选阈值变体与隐私映射来引导加密选择。
• 在服务器端通过部分加密的全局模型对密文进行聚合，使用加密掩码 M。
• 提供理论隐私分析，显示在加密下实现零 DP 的隐私保护及对部分加密的 DP 式保证。
• 在 CIFAR-100 以及语言模型反演攻击等场景下，对 LeNet、ResNet-50、BERT 等模型评估开销与防护性能。

实验结果

研究问题

• RQ1 在不影响隐私的前提下，选择性参数加密如何降低联邦学习中的 HE 开销？
• RQ2 当仅对子集参数加密时，隐私保障与通信/计算成本之间的权衡是什么？
• RQ3 在面对大模型时，FedML-HE 在开销和隐私方面对比最先进的 ML 隐私攻击的表现如何？
• RQ4 所提出的框架能否在 HE 的帮助下支持高效的基础模型联邦训练？

主要发现

• 选择性参数加密可降低 HE 开销；对中到大模型，加密 10% 的参数时的开销接近明文聚合。
• 与天真基于 HE 的联邦学习相比，FedML-HE 在 ResNet-50 上的开销可降低约 10 倍，在 BERT 上可降低约 40 倍。
• 加密掩码 M 由从本地敏感性映射导出的全局隐私映射计算得到，从而实现有针对性的加密。
• 实验证明在 CV（LeNet/CIFAR-100）和 NLP（BERT）任务中对梯度反演攻击具有鲁棒性。
• 该框架支持安全密钥管理、加密的 FL 部署，以及在模块化软件栈中优化的 HE 集成。