[论文解读] Aggregation Service for Federated Learning: An Efficient, Secure, and More Resilient Realization

Yifeng Zheng, Shangqi Lai+4 more|arXiv (Cornell University)|Feb 4, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种轻量级、安全且具有弹性的联邦学习聚合服务，通过一种新颖的密码学聚合协议，使客户端能够在不泄露敏感信息的情况下提交加密的模型更新。该系统确保了高效的计算，支持无需密钥重新设置的掉线容错机制，并提供了对主动服务器攻击者的完整性保护，其性能与明文基线相当，且客户端成本相比以往工作降低了最多39倍。

ABSTRACT

Federated learning has recently emerged as a paradigm promising the benefits of harnessing rich data from diverse sources to train high quality models, with the salient features that training datasets never leave local devices. Only model updates are locally computed and shared for aggregation to produce a global model. While federated learning greatly alleviates the privacy concerns as opposed to learning with centralized data, sharing model updates still poses privacy risks. In this paper, we present a system design which offers efficient protection of individual model updates throughout the learning procedure, allowing clients to only provide obscured model updates while a cloud server can still perform the aggregation. Our federated learning system first departs from prior works by supporting lightweight encryption and aggregation, and resilience against drop-out clients with no impact on their participation in future rounds. Meanwhile, prior work largely overlooks bandwidth efficiency optimization in the ciphertext domain and the support of security against an actively adversarial cloud server, which we also fully explore in this paper and provide effective and efficient mechanisms. Extensive experiments over several benchmark datasets (MNIST, CIFAR-10, and CelebA) show our system achieves accuracy comparable to the plaintext baseline, with practical performance.

研究动机与目标

• 解决联邦学习中的隐私风险，即尽管不共享原始数据，但模型更新仍可能泄露私密信息。
• 设计一种系统，实现安全、轻量级的加密与模型更新聚合，而无需昂贵的密码学操作。
• 通过保留掉线客户端的密钥以备未来参与，实现无需重新密钥设置的掉线容错能力。
• 通过在加密域中对模型更新进行量化压缩，优化通信效率。
• 超越半诚实模型的安全保障，确保在主动攻击的云服务器环境下计算完整性。

提出的方法

• 采用先前文献中精选的高效安全聚合协议，实现模型更新的轻量级加密与聚合。
• 在客户端实施量化以压缩模型更新，再进行加密，从而降低通信开销。
• 使用秘密共享与盲化因子隐藏个体更新，同时保持加法同态性以支持全局模型聚合。
• 引入一种机制，使掉线客户端可保留其密钥，从而在后续轮次中无缝重新参与，无需重新设置密钥。
• 在服务器端实施完整性检查，以检测篡改行为，确保在主动服务器攻击下仍能保障计算完整性。
• 通过最小化密码学操作并利用高效的整数算术实现安全聚合，优化系统性能。

实验结果

研究问题

• RQ1 如何在不依赖重型密码学的前提下，实现联邦学习中高效且安全的聚合？
• RQ2 是否可以在无需为未来参与重新设置密钥的情况下，支持联邦学习中的掉线客户端？
• RQ3 如何在不牺牲模型准确率的前提下，提升加密域中的通信效率？
• RQ4 主动服务器攻击对模型完整性有何影响，又该如何缓解？
• RQ5 量化技术在安全联邦学习中能在多大程度上减少通信开销，同时保持模型性能？

主要发现

• 当掉线率为零时，与先前工作[7]相比，本系统在客户端计算成本上最高可降低39倍。
• 随着掉线率上升，本系统客户端计算成本最多增加2.3倍，而先前工作的成本显著增长（例如，在50%掉线率下，分别为58.43ms与1.49ms）。
• 由于减少了秘密密钥重建的需求，本系统在服务器端的计算开销始终较低，尤其在高掉线率和高客户端选择率下表现更优。
• 本系统在MNIST、CIFAR-10和CelebA数据集上均保持了与明文基线相当的模型准确率。
• 本系统提供了强大的安全保证，包括对主动攻击者的完整性保护，同时仅带来极小的性能开销。
• 基于量化的压缩技术能有效减少通信开销，且在安全聚合流程中不会降低模型性能。