[论文解读] FheFL: Fully Homomorphic Encryption Friendly Privacy-Preserving Federated Learning with Byzantine Users

Yogachandran Rahulamathavan, Charuka Herath+3 more|arXiv (Cornell University)|Jun 8, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

FheFL 提出了一种新颖的联邦学习框架，结合全同态加密（FHE）与基于非污染率的聚合方案，同时抵御隐私泄露和数据投毒攻击。通过使用多密钥加法同态加密方案在加密域中实现安全的模型聚合，FheFL 在合理的计算开销下实现了与非加密联邦学习相当的准确率，同时仅依赖单台服务器且无需用户交互。

ABSTRACT

The federated learning (FL) technique was developed to mitigate data privacy issues in the traditional machine learning paradigm. While FL ensures that a user's data always remain with the user, the gradients are shared with the centralized server to build the global model. This results in privacy leakage, where the server can infer private information from the shared gradients. To mitigate this flaw, the next-generation FL architectures proposed encryption and anonymization techniques to protect the model updates from the server. However, this approach creates other challenges, such as malicious users sharing false gradients. Since the gradients are encrypted, the server is unable to identify rogue users. To mitigate both attacks, this paper proposes a novel FL algorithm based on a fully homomorphic encryption (FHE) scheme. We develop a distributed multi-key additive homomorphic encryption scheme that supports model aggregation in FL. We also develop a novel aggregation scheme within the encrypted domain, utilizing users' non-poisoning rates, to effectively address data poisoning attacks while ensuring privacy is preserved by the proposed encryption scheme. Rigorous security, privacy, convergence, and experimental analyses have been provided to show that FheFL is novel, secure, and private, and achieves comparable accuracy at reasonable computational cost.

研究动机与目标

• 解决联邦学习中模型梯度引发的隐私泄露与数据投毒攻击的双重挑战。
• 设计一种安全、隐私保护的联邦学习系统，仅依赖单台服务器，避免对多台互不串通的服务器或用户协作的依赖。
• 在不解密模型更新的前提下，实现在加密域中检测和缓解恶意用户。
• 在现实攻击条件下（特别是最多 20% 的恶意用户）保持收敛性和模型准确率。
• 相比先前基于 FHE 的联邦学习方案，降低计算和通信开销，同时确保强安全保证。

提出的方法

• 提出一种专为联邦学习设计的分布式多密钥加法同态加密方案，支持对加密模型更新的安全聚合。
• 引入一种递归加权更新机制，利用用户的非污染率动态降低潜在恶意用户在加密域中的贡献权重。
• 采用 CKKS FHE 方案并结合 SIMD 打包技术，实现单个密文加密并处理最多 8192 个模型参数，提升计算效率。
• 在不解密的情况下，通过计算加密模型更新与全局模型之间的欧几里得距离，评估一致性并检测异常。
• 采用单服务器架构处理所有聚合与验证任务，消除对用户交互或多可信方的依赖。
• 应用非污染率指标，基于其与全局模型趋势的偏离程度，识别并抑制恶意更新。

实验结果

研究问题

• RQ1 单服务器联邦学习系统能否同时实现强隐私保护与对数据投毒攻击的鲁棒性？
• RQ2 如何在不解密明文模型更新的前提下，有效实现对恶意用户的检测？
• RQ3 FHE 对大规模联邦学习中拜占庭用户场景下的计算与通信开销有何影响？
• RQ4 当最多 20% 的用户为恶意时，所提出的聚合方案在多大程度上能保持模型收敛？
• RQ5 与现有隐私保护联邦学习方法（如 ShieldFL 和 PEFL）相比，该方案在效率与准确率方面表现如何？

主要发现

• 当恶意用户数量低于 20% 时，FheFL 实现了收敛与稳定的训练，训练损失在各轮次中持续下降。
• 系统保持了与非加密联邦学习相当的模型准确率，在中等程度投毒攻击下仅出现轻微退化。
• 在服务器上处理 100 名用户、每名用户 8192 个参数的加密模型更新，耗时约 6 分钟，显著快于 ShieldFL（超过 1 小时），得益于高效的 SIMD 打包。
• 每位用户的通信带宽每轮低于 3MB，适用于 Wi-Fi 或 5G 网络，尽管高于一次性密码本方案。
• 当从 CKKS 安全参数 N=8192 切换到 N=16384 时，计算成本增加约两倍，但可实现更高精度与更好准确率。
• 所提方案在时间和通信复杂度上优于 ShieldFL，且在效率上可与 PEFL 比肩，同时仅依赖单台服务器并具备更强的安全假设。