[論文レビュー] nGraph-HE2: A High-Throughput Framework for Neural Network Inference on Encrypted Data

Fabian Boemer, Anamaria Costache+2 more|arXiv (Cornell University)|Aug 12, 2019

Advanced Neural Network Applications参考文献 37被引用数 31

ひとこと要約

nGraph-HE2 は、CKKS 楕円暗号方式とクライアント支援型二部計算を活用して、同型暗号化されたデータ上でプライバシーを守った推論を実現する高スループットフレームワークであり、多項式でない活性化関数をサポートする標準的な事前学習済みモデルを対象としています。CryptoNets では 1 秒あたり 1998 枚の画像という最先端のスループットを達成し、ImageNet 上での MobileNetV2 の同型評価を初めて実現しました。その際、トップ-1 精度は 60.4%、1 枚あたりの平均実行時間は 381 ms でした。

ABSTRACT

In previous work, Boemer et al. introduced nGraph-HE, an extension to the Intel nGraph deep learning (DL) compiler, that enables data scientists to deploy models with popular frameworks such as TensorFlow and PyTorch with minimal code changes. However, the class of supported models was limited to relatively shallow networks with polynomial activations. Here, we introduce nGraph-HE2, which extends nGraph-HE to enable privacy-preserving inference on standard, pre-trained models using their native activation functions and number fields (typically real numbers). The proposed framework leverages the CKKS scheme, whose support for real numbers is friendly to data science, and a client-aided model using a two-party approach to compute activation functions. We first present CKKS-specific optimizations, enabling a 3x-88x runtime speedup for scalar encoding, and doubling the throughput through a novel use of CKKS plaintext packing into complex numbers. Second, we optimize ciphertext-plaintext addition and multiplication, yielding 2.6x-4.2x runtime speedup. Third, we exploit two graph-level optimizations: lazy rescaling and depth-aware encoding, which allow us to significantly improve performance. Together, these optimizations enable state-of-the-art throughput of 1,998 images/s on the CryptoNets network. Using the client-aided model, we also present homomorphic evaluation of (to our knowledge) the largest network to date, namely, pre-trained MobileNetV2 models on the ImageNet dataset, with 60.4\percent/82.7\percent\ top-1/top-5 accuracy and an amortized runtime of 381 ms/image.

研究の動機と目的

• 標準的な事前学習済みディープニューラルネットワークに対して、同型暗号化を用いて効率的かつ高スループットの推論を可能にすること。
• 従来のフレームワークが多項式活性化関数のみをサポートしていたという制限を克服し、ReLU や MaxPool のような非多項式関数に対しクライアント支援型計算を導入すること。
• CKKS 同型暗号化方式をディープラーニングワークロードに最適化するため、新規の符号化、パッケージング、およびグラフレベルの技術を用いること。
• モデルの再トレーニングや暗号の専門知識を必要とせず、TensorFlow や PyTorch などの人気ディープラーニングフレームワークとシームレスに統合すること。
• MobileNetV2 などの実世界のモデルを ImageNet で実行する際、精度を保持しつつ低遅延かつ高スループットを達成すること。

提案手法

• 実数をネイティブにサポートし、プレーンテキストパッケージングを可能にする CKKS 同型暗号化方式を活用し、暗号化されたデータ上で効率的な計算を実現すること。
• クライアント支援型二部計算を導入し、クライアントがプレーンテキストデータ上で非多項式活性化関数（例：ReLU、MaxPool）を実行し、その結果を暗号化してサーバーに送信すること。
• 複素数パッケージングを用いた CKKS におけるスカラー符号化の最適化により、最大 88 倍の高速化とスループットの倍増を達成すること。
• 遅延の少ないリスケーリングと深さに配慮した符号化を適用することで、CryptoNets ネットワークにおけるリスケーリングのオーバーヘッドを削減し、パフォーマンスを向上させること。
• バッチ軸のプレーンテキストパッケージングを採用し、効率的な Reshape 操作を実現するとともに、1 バッチ内で複数の画像を同時に処理してスループットを向上させること。
• 線形層には HE を、非線形関数にはクライアント側計算を組み合わせるハイブリッドアプローチを採用し、暗号化のオーバーヘッドを最小限に抑えつつプライバシーを保持すること。

実験結果

リサーチクエスチョン

• RQ1 ReLU や MaxPool のような非多項式活性化関数を有する標準的な事前学習済みディープニューラルネットワークに対して、同型暗号化を効率的に適用できるか。
• RQ2 CKKS におけるプレーンテキストパッケージングをどのように最適化すれば、暗号化されたデータ上のディープラーニング推論におけるスループットを最大化できるか。
• RQ3 グラフレベルの最適化により、CryptoNets のような小型ネットワークにおいて、実行時間のオーバーヘッドを顕著に削減できるか。
• RQ4 MobileNetV2 のような大規模で現代的なモデルを、暗号化された ImageNet データ上で同型評価可能か。また、妥当な精度と遅延を達成できるか。
• RQ5 クライアント支援型計算により、サーバーの計算負荷をどの程度軽減できるか。また、エンドツーエンドのプライバシーを維持できるか。

主な発見

• nGraph-HE2 は、最適化されたスカラー符号化とパッケージングを用いた CKKS 同型暗号化により、CryptoNets ネットワークで 1 秒あたり 1998 枚の画像という最先端のスループットを達成しました。
• 最適化された複素数パッケージングと CKKS 特有の最適化により、スカラー符号化の遅延が 3 倍から 88 倍まで短縮されました。
• SEAL ライブラリにおけるアルゴリズム的および実装レベルの改善により、暗号文-プレーンテキストの加算および乗算が 2.6 倍から 4.2 倍高速化されました。
• リスケーリングを遅らせる戦略により、CryptoNets ネットワークで最大 8 倍の遅延削減が達成されました。
• LAN 環境下で、ImageNet 上での MobileNetV2 の同型評価を初めて実現し、トップ-1 精度は 60.4%、トップ-5 精度は 82.7%、1 枚あたりの平均実行時間は 381 ms でした。
• 同型暗号化による精度の低下は最小限に抑えられ、全テスト画像サイズにおいて平均してトップ-1 精度が 0.0136 減少（50,000 枚中約 7 枚）に留まりました。