[論文レビュー] CryptoDL: Deep Neural Networks over Encrypted Data

Ehsan Hesamifard, Hassan Takabi+1 more|arXiv (Cornell University)|Nov 14, 2017

Cryptography and Data Security参考文献 1被引用数 292

ひとこと要約

本論文は、ReLU、Sigmoid、Tanh の活性化関数をレベルド同型暗号に適した低次数多項式で近似することにより、暗号化データ上でのプライバシー保護された CNN 分類を提案し、スループット測定とともに MNIST および CIFAR-10 で競争力のある結果を示す。

ABSTRACT

Machine learning algorithms based on deep neural networks have achieved remarkable results and are being extensively used in different domains. However, the machine learning algorithms requires access to raw data which is often privacy sensitive. To address this issue, we develop new techniques to provide solutions for running deep neural networks over encrypted data. In this paper, we develop new techniques to adopt deep neural networks within the practical limitation of current homomorphic encryption schemes. More specifically, we focus on classification of the well-known convolutional neural networks (CNN). First, we design methods for approximation of the activation functions commonly used in CNNs (i.e. ReLU, Sigmoid, and Tanh) with low degree polynomials which is essential for efficient homomorphic encryption schemes. Then, we train convolutional neural networks with the approximation polynomials instead of original activation functions and analyze the performance of the models. Finally, we implement convolutional neural networks over encrypted data and measure performance of the models. Our experimental results validate the soundness of our approach with several convolutional neural networks with varying number of layers and structures. When applied to the MNIST optical character recognition tasks, our approach achieves 99.52\% accuracy which significantly outperforms the state-of-the-art solutions and is very close to the accuracy of the best non-private version, 99.77\%. Also, it can make close to 164000 predictions per hour. We also applied our approach to CIFAR-10, which is much more complex compared to MNIST, and were able to achieve 91.5\% accuracy with approximation polynomials used as activation functions. These results show that CryptoDL provides efficient, accurate and scalable privacy-preserving predictions.

研究の動機と目的

• CNN 推論におけるプライバシー問題に対処するため、暗号化データ上で計算を行う。
• 加算と乗算のみを用いる HE 向けの多項式活性化を開発する。
• 多項式近似の品質と次数選択を理論的に正当化する。
• 暗号化推論を用いた MNIST および CIFAR-10 での CNN 性能を経験的に評価する。
• HE の制約下での精度と予測スループットの実用性を評価する。

提案手法

• 連続関数を低次数多項式で近似する理論的基盤を提供する（Stone–Weierstrass の枠組みと 2-ノルム/誤差の考慮を含む）。
• レベルド HE スキームに適した低次数を重視して、ReLU、Sigmoid、Tanh の活性化関数の多項式近似を開発する。
• 多項式活性化を用いて CNN を訓練し、MNIST/CIFAR-10 で平文ベースラインの元の活性化と比較する。
• HE（HELib）を用いて暗号化データ上で CNN を実装し、暗号化推論の性能と精度を評価する。
• 多項式次数、近似品質、計算効率のトレードオフを分析する。

実験結果

リサーチクエスチョン

• RQ1 CNN の活性化関数は、同型暗号に適した低次数多項式で正確に近似できるか。
• RQ2 HE フレンドリーな活性化で訓練された CNN の分類精度に対する次数の影響は何か。
• RQ3 HE ベースのプライバシー保護 CNN は、標準ベンチマーク（MNIST、CIFAR-10）で平文モデルと比べてどうか。
• RQ4 暗号化 CNN 推論のスループットと実世界用途における実用性はどの程度か。

主な発見

Activation Function	Original Model	Model with Polynomial
ReLU	99.56%	99.52%
Sigmoid	98.85%	98.94%
Tanh	97.27%	98.15%

• MNIST では、多項式活性化を用いた CNN が 99.52% の精度を達成し、元の ReLU モデルの 99.56% に対してほぼ拮抗。
• より深い CNN では、多項式活性化の精度は 99.32% まで達し、深さが増すにつれて平文の性能にほぼ追従。
• ReLU の次数 2/3 の多項式では精度は高水準を維持（例: 1 つの設定で 98.52%、高い次数で 99.21%）。
• CIFAR-10 では近似多項式を用いて 91.5% の精度。
• 暗号化推論実験（HELib 使用）は SIMD バッチ処理と測定された暗号化/分類時間で実用的な性能を示し、MNIST で最大約 164,000 件/時 のスループットと報告。
• 結論として CryptoDL は効率的で正確、かつスケーラブルなプライバシー保護予測を提供する。