[論文レビュー] CrypTen: Secure Multi-Party Computation Meets Machine Learning

Brian Knott, Shobha Venkataraman+4 more|arXiv (Cornell University)|Sep 2, 2021

Cryptography and Data Security参考文献 64被引用数 62

ひとこと要約

CrypTenは、GPU加速のマルチパーティ計算を実装することでプライベートMLを可能にするPyTorchライクなフレームワークで、分散データ上で私的なトレーニングと推論を可能にします。半誠実な脅威モデルの下でテキスト、音声、画像モデルをベンチマークします。

ABSTRACT

Secure multi-party computation (MPC) allows parties to perform computations on data while keeping that data private. This capability has great potential for machine-learning applications: it facilitates training of machine-learning models on private data sets owned by different parties, evaluation of one party's private model using another party's private data, etc. Although a range of studies implement machine-learning models via secure MPC, such implementations are not yet mainstream. Adoption of secure MPC is hampered by the absence of flexible software frameworks that "speak the language" of machine-learning researchers and engineers. To foster adoption of secure MPC in machine learning, we present CrypTen: a software framework that exposes popular secure MPC primitives via abstractions that are common in modern machine-learning frameworks, such as tensor computations, automatic differentiation, and modular neural networks. This paper describes the design of CrypTen and measure its performance on state-of-the-art models for text classification, speech recognition, and image classification. Our benchmarks show that CrypTen's GPU support and high-performance communication between (an arbitrary number of) parties allows it to perform efficient private evaluation of modern machine-learning models under a semi-honest threat model. For example, two parties using CrypTen can securely predict phonemes in speech recordings using Wav2Letter faster than real-time. We hope that CrypTen will spur adoption of secure MPC in the machine-learning community.

研究の動機と目的

• 柔軟なML優先のフレームワークを提供することにより、機械学習における安全なMPCの普及を促進する。
• データプライバシーを保ちながら、複数のパーティが保有するプライベートデータセットでのプライベートなトレーニングと推論を可能にする。
• PyTorchライクなテンソル演算、autograd、GPU加速と共に、セキュアMPCプリミティブを統合する。

提案手法

• 採用を容易にするためにPyTorchを模した機械学習優先APIを導入する。
• eager 実行を用い、autogradサポート付きの秘密共有計算を包むCrypTensor抽象を使用する。
• 変換とBeaver triplesを用いた乗算の安全性を確保する算術および二値秘密分割を実装する。
• MPC用の固定小数点エンコーディングを用いたCUDAライブラリで重い計算をGPUへオフロードする。
• 任意の数のパーティをサポートし、実用的なプライベート推論を提供する半誠実なマルチパーティプロトコルを提供する。

実験結果

リサーチクエスチョン

• RQ1 研究者やエンジニアにとって安全なMPCを主流のMLフレームワークと同じくらい使えるように設計するにはどうすればよいか。
• RQ2 テキスト、音声、画像タスクの最先端MLモデルに対するプライベート推論とトレーニングで、CrypTenはどの程度の性能を達成できるのか。
• RQ3 GPUオフロードと高性能通信は、半誠実なセキュリティ下のプライベートMLワークロードにどのような影響を与えるのか。
• RQ4 より多くのパーティやより大きなモデルへスケールする際の実践的なボトルネックとトレードオフは何か。
• RQ5 CrypTenは現実的なMLタスクに対して、リアルタイムあるいはほぼリアルタイムのプライベート予測を実現できるか。

主な発見

• CrypTenはPyTorchライクなAPIとGPUオフロードを備えたプライベート推論とトレーニングを可能にし、現代のモデルで実用的な速度を達成する。
• 二者間のプライベート推論は特定のモデルで数秒で画像を分類でき、MPC下でリアルタイムの可能性を示す。
• Wav2Letterを用いた音声のプライベート推論はプレーンテキストのPyTorchに比べて大幅に遅いが、GPU加速によりCPUより大きな速度アップを提供する。
• ImageNet 上のResNet-18とViT-B/16 のプライベート評価はサンプルあたり数秒程度で実現可能で、通信オーバーヘッドは活性化テンソルに支配される。
• このフレームワークは、半誠実なセキュリティの下で、テキスト、音声、視覚ドメインの現代的なMLタスクに対して安全なMPCが実用的であることを示している。