[論文レビュー] Secure Computation for Machine Learning With SPDZ

Valerie Chen, Valerio Pastro+1 more|arXiv (Cornell University)|Jan 2, 2019

Cryptography and Data Security参考文献 9被引用数 44

ひとこと要約

本論文は SPDZ マルチパーティ計算フレームワークを用いた安全な機械学習を評価し、平文および従来の MPC アプローチと同等の精度を示す一方で、Obliv-C と比較して特に効率が良く、より大規模な問題へとスケーリング可能であることを示している。

ABSTRACT

Secure Multi-Party Computation (MPC) is an area of cryptography that enables computation on sensitive data from multiple sources while maintaining privacy guarantees. However, theoretical MPC protocols often do not scale efficiently to real-world data. This project investigates the efficiency of the SPDZ framework, which provides an implementation of an MPC protocol with malicious security, in the context of popular machine learning (ML) algorithms. In particular, we chose applications such as linear regression and logistic regression, which have been implemented and evaluated using semi-honest MPC techniques. We demonstrate that the SPDZ framework outperforms these previous implementations while providing stronger security.

研究の動機と目的

• プライバシー制約の下でデータが複数の当事者にまたがって分割される場合の ML のための安全な計算を動機づける。
• 共通の ML タスク（線形回帰およびロジスティック回帰）に対する SPDZ フレームワークの評価と、半協力的な MPC 手法との比較。
• 安全な ML 実装における精度、精密度、実行時間のトレードオフを分析する。
• SPDZ のマルチパーティ設定およびより大規模なデータセットへのスケーラビリティを示す。

提案手法

• SPDZ フレームワークで ML アルゴリズムを実装する（線形回帰は CGD/LDLT/Cholesky、ロジスティック回帰は SGD を用いる）。
• 浮動小数点のオーバーヘッドを避けるため固定小数点演算を使用し、線型システムの解法として反復法（CGD）を採用する。
• MPC に適した活性化関数と近似を用いた線形およびロジスティック回帰に対してミニバッチ SGD を適用する。
• MNIST や Arcene などのデータセットを横断して、SPDZ の結果を平文検証および従来のMPC手法（Obliv-C）と比較する。
• スケーラビリティを評価するため、2-, 3-, 4-パーティ分割および AWS EC2 配備で評価する。

実験結果

リサーチクエスチョン

• RQ1 SPDZ は平文のトレーニングと同程度の精度で、ML タスクに対して悪意あるセキュリティを提供できるか。
• RQ2 様々なデータ次元とパーティ数にわたって、線形回帰およびロジスティック回帰の遅延と精度は SPDZ でどうなるか。
• RQ3 非セキュアまたは半倹約ベースラインと同等性を得るために、SPDZ にはどの程度の精度と反復深さが必要か。
• RQ4 スケーラビリティと SGD の RMSE に関して、SPDZ は Obliv-C および従来の MPC アプローチとどう比較されるか。
• RQ5 安全なロジスティック回帰において、SPDZ 内でどの活性化関数/近似の選択肢が実用的か。

主な発見

• SPDZ は LDLT、Cholesky、CGD に対して Obliv-C と同程度の精度を達成し、より大きな行列サイズでの実行時間はオーダー倍速くなる。
• 安全な ML のために SGD を使用すると、SPDZ は Obliv-C より RMSE が低く、一般に従来の CGD/SGD の結果を上回る。
• SGD の精度/精密度の要求はデータ依存であり、MNIST は約13ビットの精度で平文に近い精度を達成し、Arcene は約28ビットを要する。
• ロジスティック回帰について、提案された新しい活性化関数は、試験データセットでは SPDZ 内の Taylor 展開ベースの近似を上回らなかった。
• UCI データセット全体で、SPDZ 28ビット精度 SGD は平文と比較可能な RMSE を、一定のオーバーヘッド（RMSE の増分 5–20%）で示す。
• ローカルネットワークでの三者・四者（垂直分割）ランタイムと、二者 EC2 展開は、パーティ数とより大きな行列に対して比較的妥当にスケールすることを示している。