[论文解读] Enhanced Security and Privacy via Fragmented Federated Learning

Najeeb Jebreel, Josep Domingo‐Ferrer+2 more|arXiv (Cornell University)|Jul 13, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种名为碎片化联邦学习（FFL）的新框架，通过让参与者在将模型更新发送给服务器之前交换并混合加密的更新片段，从而增强联邦学习中的隐私和安全性。FFL可防止半诚实服务器推断私有数据，并通过声誉系统有效检测被污染的更新，在计算开销极低的情况下实现了与标准联邦学习相当的准确率。

ABSTRACT

In federated learning (FL), a set of participants share updates computed on their local data with an aggregator server that combines updates into a global model. However, reconciling accuracy with privacy and security is a challenge to FL. On the one hand, good updates sent by honest participants may reveal their private local information, whereas poisoned updates sent by malicious participants may compromise the model's availability and/or integrity. On the other hand, enhancing privacy via update distortion damages accuracy, whereas doing so via update aggregation damages security because it does not allow the server to filter out individual poisoned updates. To tackle the accuracy-privacy-security conflict, we propose {\em fragmented federated learning} (FFL), in which participants randomly exchange and mix fragments of their updates before sending them to the server. To achieve privacy, we design a lightweight protocol that allows participants to privately exchange and mix encrypted fragments of their updates so that the server can neither obtain individual updates nor link them to their originators. To achieve security, we design a reputation-based defense tailored for FFL that builds trust in participants and their mixed updates based on the quality of the fragments they exchange and the mixed updates they send. Since the exchanged fragments' parameters keep their original coordinates and attackers can be neutralized, the server can correctly reconstruct a global model from the received mixed updates without accuracy loss. Experiments on four real data sets show that FFL can prevent semi-honest servers from mounting privacy attacks, can effectively counter poisoning attacks and can keep the accuracy of the global model.

研究动机与目标

• 解决联邦学习中准确率、隐私和安全性之间的根本性权衡问题。
• 通过更新碎片化掩盖个体更新，防止半诚实服务器实施隐私攻击。
• 在不损害模型准确率的前提下，实现对污染攻击的检测与缓解。
• 设计一种轻量级、可扩展的协议，在保护模型性能的同时确保参与者隐私和系统完整性。
• 提出一种专为碎片化更新设计的新声誉系统，基于更新质量和碎片交换行为评估参与者的可信度。

提出的方法

• 参与者在本地生成模型更新，并将其随机分割为非重叠的片段。
• 联邦参与者使用轻量级密码协议，私密地交换并混合加密的片段，确保服务器无关的片段混合。
• 服务器仅接收混合后的片段，并在无法访问个体更新或原始发送者信息的情况下重建全局模型。
• 引入一种声誉系统，参与者根据其片段质量和混合更新的质量获得或失去声誉。
• 服务器利用全局声誉选择参与者参与训练，并自适应聚合混合更新，过滤掉低声誉贡献者。
• 该协议在碎片化过程中保留原始更新坐标，确保全局模型重建的准确性，无失真。

实验结果

研究问题

• RQ1 联邦学习系统能否同时保持模型准确率、保护参与者隐私，并抵御污染攻击？
• RQ2 加密片段交换能否防止半诚实服务器将更新与参与者关联或重建私有训练数据？
• RQ3 基于片段质量和更新质量的声誉系统能否在碎片化更新环境中有效检测并中和恶意参与者？
• RQ4 与标准联邦学习及现有隐私增强方法相比，所提出的碎片化与混合协议的计算和通信开销如何？
• RQ5 FFL在真实世界数据分布下，以及在不同模型复杂度和参与人数变化时的表现如何？

主要发现

• FFL通过确保服务器无法恢复完整的原始更新或将片段与原始发送者关联，有效防止了半诚实服务器的隐私攻击。
• 该框架保持了与标准联邦学习相当的模型准确率，FFL在100名参与者的CIFAR10-VGG16设置下实现了1.188的测试准确率。
• FFL能有效对抗污染攻击：实验表明，与标准联邦学习相比，FFL显著降低了攻击成功率，在CIFAR10-VGG16设置下100名参与者时攻击成功率为3.536%。
• 参与者的计算开销极低——VGG16模型每轮最多仅需1.319秒，证明了其可扩展性和高效性。
• FFL的服务器端运行时间低于基于同态加密（HE）和秘密共享（SMC）的方法，尤其在模型规模和更新数量增加时更为明显，证实了其高效性。
• 尽管提供了更强的安全保障，FFL在运行时间上优于现有隐私保护方法[36]，后者每名参与者需176秒开销，而FFL仅需1.319秒，适用于类似模型。