[论文解读] MPCLeague: Robust MPC Platform for Privacy-Preserving Machine Learning

Ajith Suresh|arXiv (Cornell University)|Dec 26, 2021

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

MPCLeague 是一个高性能、高鲁棒性的多方计算平台，专为安全外包计算（SOC）模型下的隐私保护机器学习（PPML）而设计，适用于 2–4 个参与方且最多存在一个背叛方的情况。通过优化安全算术电路并利用高效的秘密共享技术，MPCLeague 相较于以往工作实现了数量级的性能提升，在 Google Cloud 上的逻辑回归、神经网络和 SVM 基准测试中展现出卓越的吞吐量和成本效率。

ABSTRACT

In the modern era of computing, machine learning tools have demonstrated their potential in vital sectors, such as healthcare and finance, to derive proper inferences. The sensitive and confidential nature of the data in such sectors raises genuine concerns for data privacy. This motivated the area of Privacy-preserving Machine Learning (PPML), where privacy of data is guaranteed. In this thesis, we design an efficient platform, MPCLeague, for PPML in the Secure Outsourced Computation (SOC) setting using Secure Multi-party Computation (MPC) techniques. MPC, the holy-grail problem of secure distributed computing, enables a set of n mutually distrusting parties to perform joint computation on their private inputs in a way that no coalition of t parties can learn more information than the output (privacy) or affect the true output of the computation (correctness). While MPC, in general, has been a subject of extensive research, the area of MPC with a small number of parties has drawn popularity of late mainly due to its application to real-time scenarios, efficiency and simplicity. This thesis focuses on designing efficient MPC frameworks for 2, 3 and 4 parties, with at most one corruption and supports ring structures. At the heart of this thesis are four frameworks - ASTRA, SWIFT, Tetrad, ABY2.0 - catered to different settings. The practicality of our framework is argued through improvements in the benchmarking of widely used ML algorithms -- Linear Regression, Logistic Regression, Neural Networks, and Support Vector Machines. We propose two variants for each of our frameworks, with one variant aiming to minimise the execution time while the other focuses on the monetary cost. The concrete efficiency gains of our frameworks coupled with the stronger security guarantee of robustness make our platform an ideal choice for a real-time deployment of PPML techniques.

研究动机与目标

• 设计一个面向安全外包计算（SOC）场景下隐私保护机器学习（PPML）的实用、高效 MPC 框架。
• 在最多一个背叛方的前提下，实现 2、3 和 4 方 MPC 的鲁棒性，确保诚实参与方始终能获得输出，无论背叛方如何行为。
• 针对基于环的算术运算，优化真实世界 PPML 工作负载（如逻辑回归、神经网络和支持向量机）的性能。
• 提供一个统一、可扩展的平台，使其在运行时间、通信开销、吞吐量和货币成本方面均优于现有解决方案。
• 探索将 MPCLeague 扩展至联邦学习或非诚实多数对抗模型等先进 PPML 应用场景的可能性。

提出的方法

• 设计统一的 MPC 协议栈，专为使用环上算术秘密共享的 2、3 和 4 方参与方进行优化。
• 实现高效的构建模块，如比较、乘法和线性代数运算，以支持低延迟执行。
• 集成鲁棒性机制，防止背叛方发起的拒绝服务攻击，确保在恶意行为下仍能交付输出。
• 采用两阶段协议模型：离线预计算和在线执行，重点优化在线阶段性能。
• 利用 Google Cloud 上的硬件优化实现，对多样化工作负载进行真实世界性能基准测试。
• 采用模块化架构，支持对新 PPML 原 primitive（如批量归一化和平方根）的可扩展支持。

实验结果

研究问题

• RQ1 在 PPML 背景下，如何使 MPC 协议在最多一个背叛方的 2–4 方小规模参与方设置中既具备鲁棒性又保持高效？
• RQ2 哪些架构和算法优化能够实现在线吞吐量和成本效率的数量级提升？
• RQ3 统一的 MPC 框架能否在保持强安全保证的前提下，支持多样化的 PPML 工作负载（如神经网络、逻辑回归和 SVM）？
• RQ4 在真实云部署中，平台在不同数据规模、批量大小和特征维度下的表现如何？
• RQ5 将 MPCLeague 扩展至联邦学习或非诚实多数对抗模型将带来何种影响？

主要发现

• 对于具有 1000 个特征和批量大小为 1000 的神经网络训练（NN-1），MPCLeague 实现了每分钟 1317.96 次迭代的在线吞吐量，显著优于 SecureML 和 ABY2.0。
• 在比较基准测试中，ABY2.0T 表现最佳，单分钟完成 128 次比较，成本仅为 0.05 美元（128 层深度）。
• 对于 1024 层深度的比较层，MPCLeague 框架实现了每分钟 59.27 次迭代的吞吐量，成本为 6.03 美元，展现出强大的可扩展性。
• 与先前系统相比，该平台将货币成本降低了高达 80%，且在所有测试配置中，ABY2.0T 均为最经济高效的方案。
• 鲁棒性机制确保了即使背叛方试图干扰计算，诚实参与方也能始终获得输出。
• 在 Google Cloud 上的实现证实，MPCLeague 在真实世界部署中具备实用性，所有指标（运行时间、通信开销和成本）均实现了可测量的性能提升。