[論文レビュー] Gazelle: A Low Latency Framework for Secure Neural Network Inference

Chiraag Juvekar, Vinod Vaikuntanathan+1 more|arXiv (Cornell University)|Jan 16, 2018

Cryptography and Data Security参考文献 23被引用数 175

ひとこと要約

Gazelle は packed additive homomorphic encryption と garbled circuits を組み合わせて、従来の研究よりはるかに低いオンラインレイテンシと帯域幅で安全な CNN 推論を実現します。

ABSTRACT

The growing popularity of cloud-based machine learning raises a natural question about the privacy guarantees that can be provided in such a setting. Our work tackles this problem in the context where a client wishes to classify private images using a convolutional neural network (CNN) trained by a server. Our goal is to build efficient protocols whereby the client can acquire the classification result without revealing their input to the server, while guaranteeing the privacy of the server's neural network. To this end, we design Gazelle, a scalable and low-latency system for secure neural network inference, using an intricate combination of homomorphic encryption and traditional two-party computation techniques (such as garbled circuits). Gazelle makes three contributions. First, we design the Gazelle homomorphic encryption library which provides fast algorithms for basic homomorphic operations such as SIMD (single instruction multiple data) addition, SIMD multiplication and ciphertext permutation. Second, we implement the Gazelle homomorphic linear algebra kernels which map neural network layers to optimized homomorphic matrix-vector multiplication and convolution routines. Third, we design optimized encryption switching protocols which seamlessly convert between homomorphic and garbled circuit encodings to enable implementation of complete neural network inference. We evaluate our protocols on benchmark neural networks trained on the MNIST and CIFAR-10 datasets and show that Gazelle outperforms the best existing systems such as MiniONN (ACM CCS 2017) by 20 times and Chameleon (Crypto Eprint 2017/1164) by 30 times in online runtime. Similarly when compared with fully homomorphic approaches like CryptoNets (ICML 2016) we demonstrate three orders of magnitude faster online run-time.

研究の動機と目的

• クライアントが入力を秘密に保ち、サーバがモデルパラメータを秘密に保つクラウドベースの CNN 推論のプライバシー問題に対処する。
• 安全なCNN推論のための低オンラインレイテンシを実現するスケーラブルなシステムを設計する。
• 線形および非線形計算段階を最適化するために、同型暗号とガーベル回路のハイブリッドを活用する。

提案手法

• Gazelle を以下の三部構成のシステムとして導入する: Gazelle Homomorphic Layer は高速 SIMD 加算、SIMD スカラー乗算、そして automorphisms のため; Gazelle Linear Algebra kernels は高速同型行列-ベクトル乗法と畳み込みのため; Gazelle Network Inference は完全な CNN 推論においてガーベル回路と同型評価の間を切り替える。

実験結果

リサーチクエスチョン

• RQ1 CNN 推論タスクをどのように分割して、線形層には同型暗号の強みを、非線形層にはガーベル回路の強みを活かすことができるか？
• RQ2 (F)HE とガーベル回路の安全な CNN 推論におけるパフォーマンスのトレードオフは何か、実践でどのように最適化できるか？
• RQ3 PAHE-GC の組み合わせアプローチは、既存の安全な推論システムよりも低いオンラインレイテンシと帯域幅を達成できるか？

主な発見

• Gazelle は CIFAR-10 で MiniONN (ACM CCS 2017) よりオンライン実行時間を 20 倍、Chameleon (Crypto Eprint 2017/1164) より 30 倍速く達成する。
• Gazelle は end-to-end の安全推論において CryptoNets (ICML 2016) よりオンライン実行時間が 3 桁速い。
• Online bandwidth per inference is reduced to about 0.3 GB for CIFAR-10 networks, versus 6.2 GB for MiniONN.
• Gazelle demonstrates end-to-end latency of 3.6 seconds in LAN setting versus 72 seconds for MiniONN on CIFAR-10 networks.
• The system achieves near-plaintext-like performance for linear algebra primitives with 10-20x slowdown relative to plaintext for the Gazelle Homomorphic Layer.