[논문 리뷰] CrypTen: Secure Multi-Party Computation Meets Machine Learning

Brian Knott, Shobha Venkataraman외 4명|arXiv (Cornell University)|2021. 09. 02.

Cryptography and Data Security참고 문헌 64인용 수 62

한 줄 요약

CrypTen은 GPU 가속 다자 간 연산을 이용한 안전한 MPC를 구현하여 프라이빗 ML을 가능하게 하는 PyTorch와 유사한 프레임워크로, 분산된 데이터에 대한 프라이빗 학습과 추론을 허용합니다. 또한 반정직 모델 하에서 텍스트, 음성, 이미지 모델을 벤치마크합니다.

ABSTRACT

Secure multi-party computation (MPC) allows parties to perform computations on data while keeping that data private. This capability has great potential for machine-learning applications: it facilitates training of machine-learning models on private data sets owned by different parties, evaluation of one party's private model using another party's private data, etc. Although a range of studies implement machine-learning models via secure MPC, such implementations are not yet mainstream. Adoption of secure MPC is hampered by the absence of flexible software frameworks that "speak the language" of machine-learning researchers and engineers. To foster adoption of secure MPC in machine learning, we present CrypTen: a software framework that exposes popular secure MPC primitives via abstractions that are common in modern machine-learning frameworks, such as tensor computations, automatic differentiation, and modular neural networks. This paper describes the design of CrypTen and measure its performance on state-of-the-art models for text classification, speech recognition, and image classification. Our benchmarks show that CrypTen's GPU support and high-performance communication between (an arbitrary number of) parties allows it to perform efficient private evaluation of modern machine-learning models under a semi-honest threat model. For example, two parties using CrypTen can securely predict phonemes in speech recordings using Wav2Letter faster than real-time. We hope that CrypTen will spur adoption of secure MPC in the machine-learning community.

연구 동기 및 목표

• 보안 MPC를 머신러닝에서 채택하도록 촉진하기 위해 유연한 ML-우선 프레임워크를 제공한다.
• 다수 당사자가 보유한 비공개 데이터세트에 대해 프라이빗 학습 및 추론을 가능하게 하되 데이터 프라이버시를 보존한다.
• PyTorch와 같은 텐서 연산, autograd, GPU 가속과 함께 보안 MPC 프리미티브를 통합한다.

제안 방법

• 채택을 쉽게 하려 PyTorch를 모방한 머신러닝 우선 API를 도입한다.
• 즉시 실행과 CrypTensor 추상화를 사용하여 비밀 공유 계산을 autograd 지원과 함께 래핑한다.
• 변환과 Beaver triples를 이용한 정밀 산술 및 이진 비밀 공유를 구현한다.
• MPC를 위한 고정소수점 인코딩과 CUDA 라이브러리를 사용하여 무거운 계산을 GPU로 오프로드한다.
• 임의의 수의 당사자를 지원하는 반정직한 다자 프로토콜과 실용적인 프라이빗 추론을 제공한다.

실험 결과

연구 질문

• RQ1 연구자와 엔지니어가 주류 ML 프레임워크처럼 사용하기 쉽도록 보안 MPC를 어떻게 설계할 수 있는가?
• RQ2 텍스트, 음성, 이미지 작업에서 최첨단 ML 모델에 대한 프라이빗 추론 및 학습에서 CrypTen이 어떤 성능을 달성할 수 있는가?
• RQ3 GPU 오프로드와 고성능 통신이 반정직 보안 하의 프라이빗 ML 워크로드에 어떤 영향을 미치는가?
• RQ4 더 많은 당사자와 더 큰 모델로 확장할 때의 실용적 병목 및 트레이드오프는 무엇인가?
• RQ5 CrypTen이 현실적인 ML 작업에 대해 실시간 또는 거의 실시간의 프라이빗 예측을 가능하게 할 수 있는가?

주요 결과

• CrypTen은 PyTorch와 같은 API와 GPU 오프로딩으로 프라이빗 추론 및 학습을 가능하게 하며 현대 모델에서 실용적인 속도를 달성한다.
• 특정 모델에서 2당사자 프라이빗 추론은 몇 초 안에 이미지를 분류할 수 있어 MPC 하에서 실시간 가능성을 보여준다.
• Wav2Letter를 사용한 음성의 프라이빗 추론은 평문 PyTorch보다 현저히 느리지만 GPU 가속이 CPU 대비 큰 속도 향상을 제공한다.
• ImageNet에서 ResNet-18 및 ViT-B/16 프라이빗 평가가 샘플당 몇 초 이내에 가능하며, 통신 오버헤드는 활성화 텐서에 의해 주도된다.
• 이 프레임워크는 반정직 보안 하에서 텍스트, 음성 및 비전 도메인에 걸친 현대 ML 작업에 대해 보안 MPC가 실용적일 수 있음을 보여준다.