[論文レビュー] A generic framework for privacy preserving deep learning

Théo Ryffel, Andrew Trask+5 more|arXiv (Cornell University)|Nov 9, 2018

Cryptography and Data Security参考文献 2被引用数 341

ひとこと要約

本論文は PySyft に基づく abstractions を提示し、 PyTorch に似た API 内でプライバシー保護付きディープラーニング（ Federated Learning、Secure MPC、Differential Privacy ）を可能にします。テンサー・チェーン・モデルと SPDZ ベースの MPC および DP の統合、 Boston Housing および Pima Indians Diabetes データセットでの実験結果を含みます。

ABSTRACT

We detail a new framework for privacy preserving deep learning and discuss its assets. The framework puts a premium on ownership and secure processing of data and introduces a valuable representation based on chains of commands and tensors. This abstraction allows one to implement complex privacy preserving constructs such as Federated Learning, Secure Multiparty Computation, and Differential Privacy while still exposing a familiar deep learning API to the end-user. We report early results on the Boston Housing and Pima Indian Diabetes datasets. While the privacy features apart from Differential Privacy do not impact the prediction accuracy, the current implementation of the framework introduces a significant overhead in performance, which will be addressed at a later stage of the development. We believe this work is an important milestone introducing the first reliable, general framework for privacy preserving deep learning.

研究の動機と目的

• ワーカー間で連合学習を有効にする標準化されたプロトコルを導入する。
• プライバシー保護操作をサポートするテンソルのチェーン抽象化（SyftTensor）を提案する。
• フレームワーク内に MPC（SPDZ）と差分プライバシーを実装する。
• 新しい FL、MPC、または DP の手法を差し込める拡張可能なアーキテクチャを提供する。
• 標準データセットでの予備実験を通じて実現性を示す。

提案手法

• ローカルテンソルと PointerTensor を備えたテンソルチェーン抽象化（SyftTensor）を定義し、連鎖的な演算とリモートデータ共有を可能にする。
• 仮想ワーカーとネットワークワーカー（Virtual、Socket、WebSocket）を実装し、FL シナリオをシミュレートおよび展開する。
• 固定精度エンコーディングを用いたSPDZプロトコルで MPCTensor を開発し、MPC 互換性を確保する。
• フェデレーテッドラーニング対応の SGD 手順を用いて、勾配クリッピングとガウシアンノイズによる差分プライバシーを組み込む。
• FixedPrecisionTensor を用い、浮動小数点データを整数ベースの MPC 計算へ適合させる。
• 既存のプライバシー分析に適合したDPアカウンティングとサニタイズを提供する（参考論文に準拠）。

実験結果

リサーチクエスチョン

• RQ1 PyTorch風の API で、統一されたテンソルチェーンフレームワークがプライバシー保護技術（FL、MPC、DP）をサポートできるのか？
• RQ2 このフレームワーク内で連合学習においてMPCとDPを適用する場合の性能と精度のトレードオフは何か？
• RQ3 仮想ワーカーと異なるネットワークバックエンド（Socket、WebSocket）が、FL のデバッグおよびブラウザベースの実験をどのように促進できるか？
• RQ4 SPDZベースのMPCとガウシアンノイズ DP が、標準データセット上でモデル品質を維持しつつプライバシーをどれだけ効果的に保つか？

主な発見

Training setting	Training time (s)	Notes
PySyft (Virtual)	10.1
PySyft (Socket)	14.6
PySyft (Virtual) + DP*	15.3
Pure PyTorch	0.22

• このフレームワークは、PyTorch のワークフロー内でプライバシー保護付きディープラーニング手法（FL、MPC、DP）を可能にします。
• DP を用いたトレーニングにはオーバーヘッドが発生します（Boston Housing の場合、DP: 15.3 s 対非 DP: 10.1 s）、および精度/平均二乗誤差はプライバシーパラメータに影響されます。
• Boston Housing と Pima Indian Diabetes の実験は、DP がプライバシー保証（0.5, 1e-5）を達成し、MSE が約29-30、Pima の精度が設定全体で約60-70％程度になることを示しています。
• WebSocket ベースおよび Virtual Workers は許容できるオーバーヘッドを提供し、FL のノートブックベースの実験を検証します。
• SPDZベースのMPCはセキュアシェアと固定精度エンコーディングをサポートし、フレームワーク内でMPC対応ニューラル計算を可能にします。