[論文レビュー] MPCLeague: Robust MPC Platform for Privacy-Preserving Machine Learning

Ajith Suresh|arXiv (Cornell University)|Dec 26, 2021

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

MPCLeague は、2〜4 パarty で最大1名の改ざんが許容される secure outsourced computation (SOC) モデルを想定した、プライバシー保護型機械学習 (PPML) のための高パフォーマンスで耐障害性に優れたマルチパーティ計算プラットフォームである。安全な算術回路の最適化と効率的な秘密分散技術を活用することで、先行研究と比べて数個のオーダーの高速化を達成し、グーグルクラウドにおけるロジスティック回帰、ニューラルネットワーク、SVM のベンチマークで優れたスループットとコスト効率を示した。

ABSTRACT

In the modern era of computing, machine learning tools have demonstrated their potential in vital sectors, such as healthcare and finance, to derive proper inferences. The sensitive and confidential nature of the data in such sectors raises genuine concerns for data privacy. This motivated the area of Privacy-preserving Machine Learning (PPML), where privacy of data is guaranteed. In this thesis, we design an efficient platform, MPCLeague, for PPML in the Secure Outsourced Computation (SOC) setting using Secure Multi-party Computation (MPC) techniques. MPC, the holy-grail problem of secure distributed computing, enables a set of n mutually distrusting parties to perform joint computation on their private inputs in a way that no coalition of t parties can learn more information than the output (privacy) or affect the true output of the computation (correctness). While MPC, in general, has been a subject of extensive research, the area of MPC with a small number of parties has drawn popularity of late mainly due to its application to real-time scenarios, efficiency and simplicity. This thesis focuses on designing efficient MPC frameworks for 2, 3 and 4 parties, with at most one corruption and supports ring structures. At the heart of this thesis are four frameworks - ASTRA, SWIFT, Tetrad, ABY2.0 - catered to different settings. The practicality of our framework is argued through improvements in the benchmarking of widely used ML algorithms -- Linear Regression, Logistic Regression, Neural Networks, and Support Vector Machines. We propose two variants for each of our frameworks, with one variant aiming to minimise the execution time while the other focuses on the monetary cost. The concrete efficiency gains of our frameworks coupled with the stronger security guarantee of robustness make our platform an ideal choice for a real-time deployment of PPML techniques.

研究の動機と目的

• プライバシー保護型機械学習 (PPML) のための実用的で効率的な MPC フレームワークを、secure outsourced computation (SOC) の文脈で設計すること。
• 改ざんされたパーティが1名まで存在する状況下で、2、3、4 パーティーの MPC において、誠実なパーティが常に出力を受信できるよう、耐障害性を確保すること。
• リングベースの算術演算を前提とした、ロジスティック回帰、ニューラルネットワーク、サポートベクターマシンなどの実世界の PPML ワークロードにおけるパフォーマンス最適化を実現すること。
• 実行時間、通信量、スループット、金銭的コストの点で既存ソリューションを上回る、統合的かつスケーラブルなプラットフォームを提供すること。
• 誠実多数の設定を超えた、高度な PPML 応用および悪意あるアドバーシャルモデルへの拡張を検討すること。

提案手法

• リング上の算術的秘密分散を用いて、2、3、4 パーティー向けに最適化された統合 MPC プrotocol スタックの設計。
• 低遅延実行を目的とした、比較、乗算、線形代数演算などの効率的なビルディングブロックの実装。
• 改ざんパーティによるサービス拒否攻撃を防止するための耐障害メカニズムの統合。悪意ある行動が発生しても出力の配信が保証される。
• 2段階プロトコルモデル（オフライン事前計算段階とオンライン実行段階）を採用。オンライン段階のパフォーマンスを最適化。
• グーグルクラウド上でのハードウェア最適化実装を活用し、多様なワークロードにおける実世界のパフォーマンスをベンチマーク。
• バッチ正規化や平方根などの新しい PPML プリミティブへの拡張を可能にするモジュラー・アーキテクチャの採用。

実験結果

リサーチクエスチョン

• RQ1 PPML の文脈において、改ざんパーティが1名まで存在する2〜4パーティの小規模な設定で、MPC プロトコルをどのようにして耐障害性と効率性を両立できるようにするか？
• RQ2 どのようなアーキテクチャ的・アルゴリズム的最適化が、オンラインスループットとコスト効率において数個のオーダーの向上を実現するか？
• RQ3 統合された MPC フレームワークは、ニューラルネットワーク、ロジスティック回帰、SVM といった多様な PPML ワークロードを、強固なセキュリティ保証のもとでサポートできるか？
• RQ4 実際のクラウドデプロイメントにおいて、データサイズ、バッチサイズ、特徴量次元数の変化が、プラットフォームのパフォーマンスにどのように影響するか？
• RQ5 MPCLeague をフェデレーテッドラーニングや不誠実多数のアドバーシャルモデルに拡張した場合、どのような意味合いや影響が生じるか？

主な発見

• ニューラルネットワーク学習（NN-1）において、1000の特徴量とバッチサイズ1000の条件下で、MPCLeague は1分間に1317.96イテレーションのオンラインスループットを達成し、SecureML や ABY2.0 より顕著に優れた性能を示した。
• 比較ベンチマークでは、ABY2.0T が最も優れたパフォーマンスを発揮し、128段階のレイヤーで1分間に128回の比較を実行し、コストはたったの $0.05 であった。
• 1024段階の比較レイヤーにおいて、MPCLeague のフレームワークは1分間に59.27イテレーションのスループットを達成し、コストは $6.03 であった。これは優れたスケーラビリティを示している。
• プラットフォームは、先行システムと比較して最大80％のコスト削減を実現した。ABY2.0T はすべてのテスト設定で最もコスト効率が高かった。
• 耐障害メカニズムにより、改ざんパーティが計算を妨害しようと試みても、誠実なパーティは常に出力を受信できた。
• グーグルクラウド上での実装により、MPCLeague が実世界のデプロイメントに実用的であることが確認された。実行時間、通信量、コストのすべての指標で明確な改善が得られた。