[论文解读] FLASHE: Additively Symmetric Homomorphic Encryption for Cross-Silo Federated Learning

Zhifeng Jiang, Wei Wang+1 more|arXiv (Cornell University)|Sep 2, 2021

Cryptography and Data Security参考文献 62被引用 41

一句话总结

FLASHE 提出了一种轻量级、可加性对称的同态加密方案，用于跨机构联邦学习，消除了通信开销并支持稀疏化，相较于明文训练的开销为 ≤6%。

ABSTRACT

Homomorphic encryption (HE) is a promising privacy-preserving technique for cross-silo federated learning (FL), where organizations perform collaborative model training on decentralized data. Despite the strong privacy guarantee, general HE schemes result in significant computation and communication overhead. Prior works employ batch encryption to address this problem, but it is still suboptimal in mitigating communication overhead and is incompatible with sparsification techniques. In this paper, we propose FLASHE, an HE scheme tailored for cross-silo FL. To capture the minimum requirements of security and functionality, FLASHE drops the asymmetric-key design and only involves modular addition operations with random numbers. Depending on whether to accommodate sparsification techniques, FLASHE is optimized in computation efficiency with different approaches. We have implemented FLASHE as a pluggable module atop FATE, an industrial platform for cross-silo FL. Compared to plaintext training, FLASHE slightly increases the training time by $\leq6\%$, with no communication overhead.

研究动机与目标

• 推动隐私保护的跨机构联邦学习并降低 HE 开销。
• 设计一个适用于 FL 聚合的最小化、对称的加法同态加密。
• 提供两种变体以支持稀疏化或非稀疏化。
• 将 FLASHE 与 FATE 平台集成并在地理分布环境中进行评估。

提出的方法

• 提出一种加法同态加密：在模群内对明文添加随机掩码进行加密。
• 将 E_k(m) 定义为 (c, i, {j})，其中 c_d = m_d + F_k(i||j||d) - F_k(i||j+1||d) mod n。
• 定义解密 D_k，以便在聚合后的带掩码求和中恢复 m。
• 引入两种掩码策略（双掩码和单掩码）及其权衡。
• 调整密文结构以支持稀疏化和坐标对齐。
• 在 FATE 上进行端到端评估，使用跨越五个数据中心的 11 个 AWS 实例。

实验结果

研究问题

• RQ1 FLASHE 是否实现了适合 FL 聚合的语义安全性和加法同态性？
• RQ2 与明文和传统 HE 方案相比，FLASHE 的计算和通信开销是多少？
• RQ3 稀疏化如何与 FLASHE 交互，掩码方案是否可以自适应地优化性能？
• RQ4 在真实的地理分布环境中的端到端性能（训练时间、金钱成本）是多少？
• RQ5 就速度和网络流量而言，FLASHE 如何影响稀疏化模型更新？

主要发现

• 与明文训练相比，FLASHE 的训练时间开销 ≤6%。
• 与明文相比，FLASHE 不增加额外的网络流量。
• 相比于优化的 Paillier、FV 和 CKKS，FLASHE 将成本降低高达 73%–94%。
• 使用 FLASHE 的稀疏化更新相比 Paillier 可实现 13–63× 的加速和 48× 的网络流量下降。
• 在典型的跨机构 dropout 场景中，双掩码可以提供更好的解密效率；单掩码在加密方面更高效。
• 首个在跨机构 FL 中实现端到端性能优化的 HE 提案。