[論文レビュー] SHE: A Fast and Accurate Deep Neural Network for Encrypted Data

Qian Lou, Lei Jiang|arXiv (Cornell University)|Jun 1, 2019

Cryptography and Data Security被引用数 33

ひとこと要約

SHEはTFHEを用いてReLUとmax-poolingを実装し、対数量子化と混合ビット幅の累算器による移動累積に基づくLeveled HE深層ネットを提案し、 encrypted-inference 精度で最先端を達成するとともに、従来のLHECNNより著しく低い待機遅延を実現します。これにより、より深いネットワークや encrypted data 上のLSTMさえ可能になります。

ABSTRACT

Homomorphic Encryption (HE) is one of the most promising security solutions to emerging Machine Learning as a Service (MLaaS). Leveled-HE (LHE)-enabled Convolutional Neural Networks (LHECNNs) are proposed to implement MLaaS to avoid large bootstrapping overhead. However, prior LHECNNs have to pay significant computing overhead but achieve only low inference accuracy, due to their polynomial approximation activations and poolings. Stacking many polynomial approximation activation layers in a network greatly reduces inference accuracy, since the polynomial approximation activation errors lead to a low distortion of the output distribution of the next batch normalization layer. So the polynomial approximation activations and poolings have become the obstacle to a fast and accurate LHECNN model. In this paper, we propose a Shift-accumulation-based LHE-enabled deep neural network (SHE) for fast and accurate inferences on encrypted data. We use the binary-operation-friendly Leveled Fast Homomorphic Encryption over Torus (LTFHE) encryption scheme to implement ReLU activations and max poolings. We also adopt the logarithmic quantization to accelerate inferences by replacing expensive LTFHE multiplications with cheap LTFHE shifts. We propose a mixed bitwidth accumulator to accelerate accumulations. Since the LTFHE ReLU activations, max poolings, shifts and accumulations have small multiplicative depth overhead, SHE can implement much deeper network architectures with more convolutional and activation layers. Our experimental results show SHE achieves the state-of-the-art inference accuracy and reduces the inference latency by 76.21% ~ 94.23% over prior LHECNNs on MNIST and CIFAR-10. The source code of SHE is available at https://github.com/qianlou/SHE.

研究の動機と目的

• Motivate secure MLaaS by enabling accurate CNN inferences over encrypted data with Leveled HE.
• Overcome the accuracy and latency bottlenecks of prior LHECNNs caused by polynomial activation approximations.
• Propose a fast, accurate encrypted inference framework leveraging binary-friendly TFHE operations.
• Demonstrate the scalability to deeper architectures and non-CNN models (LSTM) on encrypted data.

提案手法

• TFHEを用いてReLU活性化とmax poolingをブールゲートで実装する。
• 重みの対数量子化を適用して乗算をシフトと累積へ変換する。
• 混合ビット幅の累算器を導入して同型同型演算時のMDオーバーヘッドを最小化する。
• シフト-累積演算で計算を行い、乗算の深さを削減し、より深いネットワークを可能にする。
• 入力と重みを5ビット表現に量子化して精度と効率のバランスを取る。
• MNIST、CIFAR-10、ImageNet、医療データセットで遅延と精度の向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 ReLUとmax poolingをTFHEで効率的に実装して、暗号化CNNの高精度を維持できるか。
• RQ2 対数量子化とシフトベースの累積を組み合わせて乗算深さと待機遅延を削減し、精度を損なわないか。
• RQ3 固定のLTFHE MD予算の下でどれだけ深いネットワークを安全に学習・推論できるか。
• RQ4 SHEで暗号化LSTMを実行可能にし、Penn Treebankで競争力のあるパープレキシティを達成できるか。

主な発見

• SHEはLHEパラダイム内でMNISTとCIFAR-10の暗号化推論精度で最先端を達成する。
• MNISTとCIFAR-10で従来のLHECNNより推論遅延を76.21%から94.23%削減。
• MNISTで30層のDSHEをMD予算が小さい状態で99.77%の精度に到達。
• ImageNetとShuffleNetで実用的な暗号化パイプライン内で69.4%のTop-1精度を達成。
• Penn Treebank上でSHEは30K MDを用い、コア乗算演算の0.5K MD以内で単語あたり89.8の perplexityを実現したLSTM推論を可能にする。
• SHEはMNIST画像を約122.5 MBに暗号化し、他のTFHEベースの暗号化推論パイプラインより大幅に小さくする。