[論文レビュー] TAPAS: Tricks to Accelerate (encrypted) Prediction As a Service

Amartya Sanyal, Matt J. Kusner+2 more|arXiv (Cornell University)|Jun 9, 2018

Cryptography and Data Security参考文献 30被引用数 40

ひとこと要約

この論文は TAPAS を提示します。完全同型暗号で二値ニューラルネットワークを実行する一連の技術を用いて、サービスとしての高速な暗号化予測を実現するものです。プライバシー保証と様々な高速化の工夫を備えています。

ABSTRACT

Machine learning methods are widely used for a variety of prediction problems. \emph{Prediction as a service} is a paradigm in which service providers with technological expertise and computational resources may perform predictions for clients. However, data privacy severely restricts the applicability of such services, unless measures to keep client data private (even from the service provider) are designed. Equally important is to minimize the amount of computation and communication required between client and server. Fully homomorphic encryption offers a possible way out, whereby clients may encrypt their data, and on which the server may perform arithmetic computations. The main drawback of using fully homomorphic encryption is the amount of time required to evaluate large machine learning models on encrypted data. We combine ideas from the machine learning literature, particularly work on binarization and sparsification of neural networks, together with algorithmic tools to speed-up and parallelize computation using encrypted data.

研究の動機と目的

• 厳格なクライアントデータのプライバシーと最小限のクライアント/サーバー間の相互作用の下で、Prediction as a Serviceを動機づける。
• FHE を用いた BNNetを使って暗号化データ上で機械学習推論を実行するフレームワークを提案する。
• 暗号化された内積、活性化、バッチ処理を高速化するためのブール回路とアーキテクチャ上の工夫を開発する。
• クライアントデータを再暗号化することなくモデルを更新する実用的で並列化可能な方法と、暗号化計算をスパース化する方法を提供する。

提案手法

• バイナリ演算をサポートするTFHE ベースのFHEを使用して、暗号化データ上でBNN層を実行する。
• 内積回路を二つ設計する: reduce-tree と sorting-network; 実行時間を比較してより効率的なオプションを選択する。
• XNOR に続く和（ポップカウント）を用いた暗号化された内積を、浅い回路（reduce-tree または sorting network）を用いて実装する。
• バイアス条件 2S >= d - b を満たすように、活性化（バッチ正規化バイアスの可能性を含む）に対して比較回路を開発する。
• +1 トリックを導入し、2値重み構造を利用して暗号化加算の数を減らすことで、暗号化計算をスパース化する。
• 重みの三値化（−1,0,1）を適用して接続を削減し、利点がある場合には暗号化計算をさらに減らす。
• 出力とデータセット全体で並列評価を実証する、Cancer、Diabetes、Faces、MNIST を含む。

実験結果

リサーチクエスチョン

• RQ1 BNNベースの暗号化予測は、浮動小数点ネットワークと比較して、いくつかのデータセット（Cancer、Diabetes、Faces、MNIST）で競争力のある精度を達成する。
• RQ2 どの回路設計と工夫（reduce-tree vs sorting-network、+1 トリック、sparsification）が、暗号化予測に実用的な高速化をもたらすのか？
• RQ3 プライバシー保証が、最小限のクライアント介入とモデル更新で実現される実用的なEPAAS（Encrypted Prediction as a Service）ワークフローへどのように翻訳されるのか？
• RQ4 FHE 制約下で、モデルタイプ（binary/ternary）およびネットワーク深さが精度と待機時間に与える影響はどのようなものか？

主な発見

• BNNベースの暗号化予測は、浮動小数点ネットワークと比較して、いくつかのデータセット（Cancer、Diabetes、Faces、MNIST）で競争力のある精度を達成する。
• 並列化設定において、内積回路としての reduce-tree は sorting-network ベースのアプローチより優れている。
• +1 トリックは、暗号化和をスパース化することで層あたりの計算時間を実質的に半分にする。
• 重みを三値化（−1,0,1）することで、データセットによっては、計算量を削減でき、精度の低下は控えめに留まる。
• 出力全体での完全な並列化は待機時間を大幅に短縮し、データセット全体で顕著な利得を示す。
• MNIST では、このアプローチは浮動小数点ネットワークに対して競争力のある精度を達成し、実用的でプライバシーを保護した予測を実現する。