[论文解读] Privacy-preserving Weighted Federated Learning within Oracle-Aided MPC Framework

Huafei Zhu, Zengxiang Li+2 more|arXiv (Cornell University)|Mar 17, 2020

Cryptography and Data Security参考文献 20被引用 7

一句话总结

本文提出了一种新颖的隐私保护加权联邦学习（wFL）框架，采用基于可信第三方的多方计算（MPC）模型，其中客户端的数据权重和模型更新均被加密并在密文空间中处理。该解决方案利用秘密共享和安全MPC协议（特别是ShareMind）实现高效、隐私保护的加权模型更新聚合，其安全性在底层乘法协议安全的前提下，可证明适用于诚实但好奇的敌手模型。

ABSTRACT

This paper studies privacy-preserving weighted federated learning within the oracle-aided multi-party computation (MPC) framework. The contribution of this paper mainly comprises the following three-fold: In the first fold, a new notion which we call weighted federated learning (wFL) is introduced and formalized inspired by McMahan et al.'s seminal paper. The weighted federated learning concept formalized in this paper differs from that presented in McMahan et al.'s paper since both addition and multiplication operations are executed over ciphers in our model while these operations are executed over plaintexts in McMahan et al.'s model. In the second fold, an oracle-aided MPC solution for computing weighted federated learning is formalized by decoupling the security of federated learning systems from that of underlying multi-party computations. Our decoupling formulation may benefit machine learning developers to select their best security practices from the state-of-the-art security tool sets; In the third fold, a concrete solution to the weighted federated learning problem is presented and analysed. The security of our implementation is guaranteed by the security composition theorem assuming that the underlying multiplication algorithm is secure against honest-but-curious adversaries.

研究动机与目标

• 形式化一种新的加权联邦学习（wFL）概念，其中模型权重和更新均在密文空间中处理，与传统联邦学习在明文上操作不同。
• 将wFL的安全性与底层MPC协议解耦，使ML开发者能够模块化选择最先进的MPC工具。
• 提出并分析一种基于ShareMind MPC框架和秘密共享技术的具体、高效wFL实现方案。
• 在底层乘法协议安全的前提下，证明所提出的wFL协议在诚实但好奇敌手模型下的安全性。

提出的方法

• 该框架使用三服务器秘密共享（Shamir方案）将加密权重和模型更新分发至三个服务器，确保任一单方均无法获知完整值。
• 基于Beaver三元组的MPC技术，在共享值上执行加法和乘法操作，实现无需暴露输入即可安全计算加权平均。
• 将wFL功能简化为一个安全乘法预言机，支持与现有MPC工具包（如ShareMind）的模块化集成。
• 系统在密文空间中计算模型更新的加权和 $[n_1][w_1] + \cdots + [n_K][w_K]$，随后进行解密并按总样本数 $n$ 归一化。
• 通过模拟范式证明安全性，模型为半诚实模型，其中模拟器使用底层MPC协议的模拟器来模拟每方的视图。
• 实现采用三服务器架构，各方持有输入的共享值，所有操作均以保护输入隐私的方式执行。

实验结果

研究问题

• RQ1 如何形式化加权联邦学习，使得客户端数据权重和模型更新均在密文空间中受保护？
• RQ2 wFL协议的安全性能否与底层MPC协议解耦，以实现与现代MPC工具包的灵活集成？
• RQ3 是否存在一种高效且安全的基于MPC的解决方案，用于在联邦学习中计算加权模型聚合，而无需暴露敏感客户端数据？
• RQ4 所提出的wFL协议在何种威胁模型下是安全的，其安全性如何被形式化证明？

主要发现

• 本文形式化了一种新的wFL模型，其中权重 $n_k$ 和模型更新 $w_{t+1}^k$ 均在密文空间中处理，区别于以往基于明文的联邦平均方法。
• 所提出的解决方案将wFL安全性与底层MPC协议解耦，使开发者可插入任何安全的MPC乘法原原子，如ShareMind中的实现。
• 该实现通过秘密共享和基于Beaver三元组的乘法技术实现高效计算，性能可扩展至多个客户端。
• 形式化安全证明表明，该协议在底层乘法协议安全的前提下，对诚实但好奇的敌手是安全的。
• 协议在密文空间中正确计算加权平均 $\sum_{k=1}^K \frac{n_k}{n} w_{t+1}^k$，并解密结果，而不会暴露中间值。