[論文レビュー] Private Machine Learning in TensorFlow using Secure Computation

Morten Dahl, Jason Mancuso+6 more|arXiv (Cornell University)|Oct 18, 2018

Cryptography and Data Security参考文献 4被引用数 49

ひとこと要約

論文は tf-encrypted を紹介する。TensorFlow グラフを用いたプライベートMLを可能にする SPDZ ベースのセキュアマルチパーティ計算を統合し、MNIST でのベンチマークを行うオープンソースフレームワークである。

ABSTRACT

We present a framework for experimenting with secure multi-party computation directly in TensorFlow. By doing so we benefit from several properties valuable to both researchers and practitioners, including tight integration with ordinary machine learning processes, existing optimizations for distributed computation in TensorFlow, high-level abstractions for expressing complex algorithms and protocols, and an expanded set of familiar tooling. We give an open source implementation of a state-of-the-art protocol and report on concrete benchmarks using typical models from private machine learning.

研究の動機と目的

• TensorFlow 内でプライベート機械学習のためのアクセスしやすいプラットフォームとして tf-encrypted を導入する。
• TensorFlow グラフとセキュア計算プロトコルの統合を実証し、プライベート推論とトレーニングワークフローを可能にする。
• 一般的なタスクでのプライベートMLモデルの性能と精度のトレードオフを示すベンチマークを提供する。

提案手法

• Secure multi-party 計算（SPDZ式）を TensorFlow にマスクドおよびプライベートテンソルとして埋め込む。
• 浮動小数点数の固定小数点表現を用い、int64 および CRT ベースの int100 テンソルを精度制御のためにサポートする。
• データを特定のデバイスに固定してマスキングと3サーバー分散プロトコルにより安全な乗算などの演算を実装する。
• TensorFlow の分散実行とグラフ最適化を活用してネットワーク通信を削減し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 セキュア計算プロトコルを TensorFlow に効果的に統合して、モデルの使いやすさや性能を犠牲にしないことは可能か。
• RQ2 TensorFlow ベースのフレームワーク内で標準的な ML モデルのプライベート推論を実行する際、性能と精度のトレードオフはどうなるか。
• RQ3 精度の選択（int64 対 int100）は、プライベートMLワークロードの精度と実行時間にどのような影響を与えるか。
• RQ4 共通プラットフォームが、プライベートMLのためのさまざまなセキュア計算最適化とプロトコルの実験を促進できるか。

主な発見

ネットワーク	Runtime average	Runtime deviation	Accuracy (int64)	Accuracy (int100)	KL divergence (int64)	KL divergence (int100)
A	14ms	138ms	97.35%	97.18%	0.0065	0.0064
B	126ms	189ms	99.26%	99.00%	0.2086	0.0311
C	124ms	211ms	99.44%	99.41%	0.2311	0.1045

• tf-encrypted は、モデルと入力を別々の当事者の間に保持したまま、TensorFlow でプライベート推論を実現する。
• SPDZベースのプロトコルをテンソル演算と3サーバー構成に適応させたもので、MNISTサイズのネットワークに実用的な実行時間を達成する。
• int64 および int100 の固定小数点表現は同等の精度を示し、int100 は追加の実行時間コストでより高い精度を提供する。
• ネットワークはさまざまなアーキテクチャでバッチサイズとともに線形未満のスケーリングを示し、レイテンシとスループットのトレードオフを強調する。
• plaintext TensorFlow と比較して、プライベート推論は実行時間のオーバーヘッドを伴うが、精度はほぼ維持され、KL ダイバージェンスも許容範囲。
• このフレームワークは、TensorBoard を用いたデバッグとプロファイリングを含む、標準 TensorFlow ツールと組み合わせたプライベートML の実現可能性を示す。