[论文解读] CrypTen: Secure Multi-Party Computation Meets Machine Learning

Brian Knott, Shobha Venkataraman+4 more|arXiv (Cornell University)|Sep 2, 2021

Cryptography and Data Security参考文献 64被引用 62

一句话总结

CrypTen 是一个类似 PyTorch 的框架，通过实现带有 GPU 加速、多方计算的安全 MPC，来实现私有化的 ML，允许在分布式数据上进行私有训练和推理。它在半诚实威胁模型下对文本、语音和图像模型进行基准测试。

ABSTRACT

Secure multi-party computation (MPC) allows parties to perform computations on data while keeping that data private. This capability has great potential for machine-learning applications: it facilitates training of machine-learning models on private data sets owned by different parties, evaluation of one party's private model using another party's private data, etc. Although a range of studies implement machine-learning models via secure MPC, such implementations are not yet mainstream. Adoption of secure MPC is hampered by the absence of flexible software frameworks that "speak the language" of machine-learning researchers and engineers. To foster adoption of secure MPC in machine learning, we present CrypTen: a software framework that exposes popular secure MPC primitives via abstractions that are common in modern machine-learning frameworks, such as tensor computations, automatic differentiation, and modular neural networks. This paper describes the design of CrypTen and measure its performance on state-of-the-art models for text classification, speech recognition, and image classification. Our benchmarks show that CrypTen's GPU support and high-performance communication between (an arbitrary number of) parties allows it to perform efficient private evaluation of modern machine-learning models under a semi-honest threat model. For example, two parties using CrypTen can securely predict phonemes in speech recordings using Wav2Letter faster than real-time. We hope that CrypTen will spur adoption of secure MPC in the machine-learning community.

研究动机与目标

• 通过提供一个灵活、以 ML 为先的框架，促进在机器学习中对安全 MPC 的采用。
• 在由多方持有的私有数据集上实现私有训练和推理，同时保护数据隐私。
• 将安全 MPC 基元与类似 PyTorch 的张量操作、自动求导（autograd）以及 GPU 加速集成。

提出的方法

• 引入一个以机器学习为先、镜像 PyTorch 的 API 以简化采用。
• 使用即时执行和 CrypTensor 抽象来包装带有 autograd 支持的秘密共享计算。
• 实现带有转换和 Beaver 三元组的算术和二进制秘密共享，以实现安全乘法。
• 使用带有固定点编码以用于 MPC 的 CUDA 库将大量计算卸载到 GPU。
• 提供一个半诚实的多方协议，支持任意数量的参与方和实用的私有推理。

实验结果

研究问题

• RQ1 如何将安全 MPC 设计得与主流 ML 框架对研究人员和工程师一样易用？
• RQ2 CrypTen 在文本、语音和图像任务的最先进模型上的私有推理和训练能达到何种性能？
• RQ3 在半诚实安全性下，GPU 卸载和高性能通信对私有 ML 工作负载有何影响？
• RQ4 扩展到更多参与方和更大模型时，实际的瓶颈和权衡是什么？
• RQ5 CrypTen 能否为真实世界的 ML 任务实现实时或近实时的私有预测？

主要发现

• CrypTen 在具有 PyTorch 风格 API 和 GPU 卸载的支持下，实现私有推断和训练，在现代模型上达到实用速度。
• 在某些模型下，二方私有推断可在几秒内对图像进行分类，展示了在 MPC 下的实时潜力。
• 使用 Wav2Letter 的语音私有推理明显慢于明文 PyTorch，但 GPU 加速相对于 CPU 提供了巨大的加速。
• 在 ImageNet 上对 ResNet-18 和 ViT-B/16 的私有评估在每个样本几秒内可实现，通信开销由激活张量主导。
• 该框架证明在半诚实安全性下，安全 MPC 对文本、语音和视觉领域的现代 ML 任务是实用的。