[论文解读] FastSecAgg: Scalable Secure Aggregation for Privacy-Preserving Federated Learning

Swanand Kadhe, Nived Rajaraman+2 more|arXiv (Cornell University)|Sep 23, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用 113

一句话总结

FastSecAgg 引入基于 FFT 的多秘密分享方案（FastShare），以在联邦学习中实现可扩展、安全聚合，同时具备 dropout 容忍性和自适应对手能力。

ABSTRACT

Recent attacks on federated learning demonstrate that keeping the training data on clients' devices does not provide sufficient privacy, as the model parameters shared by clients can leak information about their training data. A 'secure aggregation' protocol enables the server to aggregate clients' models in a privacy-preserving manner. However, existing secure aggregation protocols incur high computation/communication costs, especially when the number of model parameters is larger than the number of clients participating in an iteration -- a typical scenario in federated learning. In this paper, we propose a secure aggregation protocol, FastSecAgg, that is efficient in terms of computation and communication, and robust to client dropouts. The main building block of FastSecAgg is a novel multi-secret sharing scheme, FastShare, based on the Fast Fourier Transform (FFT), which may be of independent interest. FastShare is information-theoretically secure, and achieves a trade-off between the number of secrets, privacy threshold, and dropout tolerance. Riding on the capabilities of FastShare, we prove that FastSecAgg is (i) secure against the server colluding with 'any' subset of some constant fraction (e.g. $\sim10\%$) of the clients in the honest-but-curious setting; and (ii) tolerates dropouts of a 'random' subset of some constant fraction (e.g. $\sim10\%$) of the clients. FastSecAgg achieves significantly smaller computation cost than existing schemes while achieving the same (orderwise) communication cost. In addition, it guarantees security against adaptive adversaries, which can perform client corruptions dynamically during the execution of the protocol.

研究动机与目标

• 在联邦学习中，更新可能泄露信息的情形下，激发隐私关注。
• 设计可扩展到大量客户端和高维更新的安全聚合协议。
• 在保持隐私保障的同时提供对客户端退出的鲁棒性。
• 即使在自适应对手下也实现强安全性。
• 在计算和通信效率方面提供相对于现有工作更具实用性的改进。

提出的方法

• 提出 FastShare，一种基于有限域 FFT 的多秘密分享方案，在 N 个客户端之间分享 S 个秘密，针对固定比例的共谋者提供信息论隐私保护。
• 将 FastShare 作为 FastSecAgg 的构建块，用于安全地计算客户端更新的和。
• 利用二维网格表示和中国剩余定理实现高效的分享生成与恢复。
• 提供具备 T-privacy 阈值和 D-dropout 鲁棒性的形式隐私保证。
• 分析计算和通信成本，并与以往的安全聚合协议进行比较。

实验结果

研究问题

• RQ1 FastShare 是否能够在对共谋客户端子集具有信息论隐私保护的前提下，安全地分享多个秘密？
• RQ2 FastSecAgg 是否能够在容忍现实掉线率的同时实现更低的服务器计算量的安全聚合？
• RQ3 基于 FFT 的方案中，隐私阈值、 dropout 容忍度与效率之间有哪些权衡？
• RQ4 在自适应对手下，FastSecAgg 相对于非自适应模型的表现如何？

主要发现

• FastShare 在对常量比例的客户端子集共谋的情况下实现信息论隐私保护，并且在高概率下具备 dropout 容忍性。
• FastSecAgg 相较于现有的安全聚合方案减少了服务器计算量，同时保持了相似阶的通信成本。
• 该协议能够容忍在执行过程中可能腐败客户端的自适应对手。
• 对于长度为 L 的更新的 N 个客户端，服务器以 O(L log N) 的计算量进行计算，通信量为 O(LN + N^2)，每个客户端的计算量为 O(L log N)，通信量为 O(L + N)。
• FastShare 使得一个实用、可扩展的安全聚合原语成为可能，适用于更广泛的安全多方计算任务。