[論文レビュー] SEALion: a Framework for Neural Network Inference on Encrypted Data

Tim van Elsloo, Giorgio Patrini+1 more|arXiv (Cornell University)|Apr 29, 2019

Cryptography and Data Security参考文献 29被引用数 35

ひとこと要約

SEALion は、プレーンテキストデータでニューラルネットワークを訓練し、同型暗号化データに対して推論を実行できる拡張可能なフレームワークであり、自動的な暗号化パラメータ選択機能を備えています。 activations の疎化を通じた encrypted 推論の改善を示し、サーバーサイドの VAE を用いた encrypted transfer learning を導入します。

ABSTRACT

We present SEALion: an extensible framework for privacy-preserving machine learning with homomorphic encryption. It allows one to learn deep neural networks that can be seamlessly utilized for prediction on encrypted data. The framework consists of two layers: the first is built upon TensorFlow and SEAL and exposes standard algebra and deep learning primitives; the second implements a Keras-like syntax for training and inference with neural networks. Given a required level of security, a user is abstracted from the details of the encoding and the encryption scheme, allowing quick prototyping. We present two applications that exemplifying the extensibility of our proposal, which are also of independent interest: i) improving efficiency of neural network inference by an activity sparsifier and ii) transfer learning by querying a server-side Variational AutoEncoder that can handle encrypted data.

研究の動機と目的

• 機械学習におけるプライバシー保護予測を動機づけ、暗号化データ上で実用的なニューラルネットワークを可能にする。
• SEAL ベースの推論と TensorFlow のような訓練を組み合わせた拡張可能なソフトウェアアーキテクチャを提供する。
• セキュリティ保証を満たしつつパフォーマンスを最大化するように暗号化パラメータ選択を自動化する。
• 実用的な拡張を示す: (i) 暗号化推論を高速化するための活性化の疎化、(ii) サーバーサイド VAE 表現による encrypted 転移学習。

提案手法

• 暗号化データ上で多変量多項式関数を評価するための primitive 層として SEALion を SEAL 上に構築する。
• HEras のような TensorFlow 風のインターフェースを公開し、プレーンテキストでの訓練と暗号化データでの推論を、Keras 風の構文で行えるようにする。
• バッチ処理 (SIMD) と Chinese Remainder Theorem (CRT) を用いてプレーンテキストのモジュラスを管理し、スループットを向上させる。
• ノイズ予算を破らないように、(n, t) の候補を探索し検証することで自動的な暗号化パラメータ選択を実装する。
• 同型暗号が要求する多項式演算に fit させるためにニューラルネットを離散化する。
• 活性化の疎化をデモとして、暗号化計算を削減し推論を高速化する。
• サーバーサイドの VAE へ問い合わせて encrypted 表現を得ることにより encrypted 転移学習を導入する。

実験結果

リサーチクエスチョン

• RQ1 プレーンテキストでニューラルネットを訓練し、入力データを露呈せずに encrypted 推論に展開できるか？
• RQ2 SEAL ベースの推論でセキュリティ、深さ、性能のバランスをとるように暗号化パラメータを自動的に選択するにはどうすればよいか？
• RQ3 活性化の疎化は、精度を損なうことなく encrypted ニューラルネットの待機遅延を大幅に削減し、スループットを向上させるのか？
• RQ4 サーバーサイド VAE による encrypted 転移学習は、クライアントのプライバシーを保ちながら有用な表現を得るのに適しているか？
• RQ5 MNIST の代表的なアーキテクチャを横断した SEALion の実用的な性能と精度のトレードオフは？

主な発見

Model	Parameters	Activations	n,t	Lat. [s]	TP [1/h]	Acc. [%]
CryptoNets	126,375	945	4096,2	250	58,982	98.95
Faster CryptoNets	—	945	8192,2	39.1	754,250	98.71
DiNN-30	26,520	30	—	0.491	6,990	93.46
DiNN-100	79,400	100	—	1.64	2,143	96.35
TAPAS	—	—	—	32[h]	—	98.60
Our Work - DNN-30	26,520	30	4096,1	1.14	12,933,344	97.40
Our Work - DNN-100	79,400	100	4096,1	3.28	4,494,965	98.01
Our Work - CNN-16	79,800	3,236	8192,2	192	153,600	98.96
Our Work - CNN-16 L0	79,800	762	8192,2	60	491,520	98.91

• Encryption-based inference can achieve competitive accuracy with discretized polynomial networks.
• Activation sparsification (L0 activity sparsifier) substantially improves latency and throughput for encrypted inference (e.g., CNN-16 with L0 shows notable speedups while maintaining accuracy).
• Dense results include comparisons to CryptoNets and other baselines, with models like DNN-30, DNN-100, CNN-16 and CNN-16 with L0 achieving high accuracy on MNIST, and substantially different latency/throughput profiles.
• Encrypted transfer learning via a discretized VAE (dVAE) enables extracting representations that improve downstream classifier performance under privacy constraints.
• Automatic parameter selection balances latency and throughput by exploring polynomial degree n and plaintext modulus t, ensuring target security levels while avoiding noise budget exhaustion.