[論文レビュー] Privacy preserving Neural Network Inference on Encrypted Data with GPUs

Daniel Takabi, Robert Podschwadt+3 more|arXiv (Cornell University)|Nov 26, 2019

Cryptography and Data Security参考文献 14被引用数 8

ひとこと要約

この論文は、暗号化されたデータ上で畳み込みニューラルネットワーク（CNN）のプライバシー保護型推論を実現するGPUアクセラレートFHEフレームワークを提案する。非線形活性化関数に対して多項式近似を用い、FHE演算をGPUで最適化することで、乗算演算でCPUと比較して4,500倍以上の高速化を達成し、AlexNetに類似したCNNを用いたCOWCデータセットで95％の分類精度を達成した。

ABSTRACT

Machine Learning as a Service (MLaaS) has become a growing trend in recent years and several such services are currently offered. MLaaS is essentially a set of services that provides machine learning tools and capabilities as part of cloud computing services. In these settings, the cloud has pre-trained models that are deployed and large computing capacity whereas the clients can use these models to make predictions without having to worry about maintaining the models and the service. However, the main concern with MLaaS is the privacy of the client's data. Although there have been several proposed approaches in the literature to run machine learning models on encrypted data, the performance is still far from being satisfactory for practical use. In this paper, we aim to accelerate the performance of running machine learning on encrypted data using combination of Fully Homomorphic Encryption (FHE), Convolutional Neural Networks (CNNs) and Graphics Processing Units (GPUs). We use a number of optimization techniques, and efficient GPU-based implementation to achieve high performance. We evaluate a CNN whose architecture is similar to AlexNet to classify homomorphically encrypted samples from the Cars Overhead With Context (COWC) dataset. To the best of our knowledge, it is the first time such a complex network and large dataset is evaluated on encrypted data. Our approach achieved reasonable classification accuracy of 95% for the COWC dataset. In terms of performance, our results show that we could achieve several thousands times speed up when we implement GPU-accelerated FHE operations on encrypted floating point numbers.

研究の動機と目的

• 大規模データセット向けプライバシー保護型機械学習における完全準同型暗号（FHE）の性能ボトルネックを解消すること。
• 特にCNNのような複雑なモデル向けに、FHE互換性を持つニューラルネットワークアーキテクチャを用いて、暗号化データ上の効率的推論を可能にすること。
• GPUアクセラレーションを活用することで、大規模モデルやデータセットにおけるFHEの計算不能性を克服すること。
• 同型暗号とGPUアクセラレーションを用いたエンドツーエンドのプライバシー保護型機械学習サービス（MLaaS）の実用的妥当性を示すこと。

提案手法

• 非線形活性化関数（例：ReLU）をFHEに適した代替関数に置き換えるために多項式近似を用いることで、FHE評価を可能にする。
• 浮動小数点数を整数配列に変換し、ブール回路を介して算術演算を実行することで、暗号化された浮動小数点数に対するFHE演算を実装する。
• 特に80コアのTitan V GPUを対象として、GPUカーネルを用いてFHE演算をアクセラレートする。
• ブール回路の深さを最小限に抑え、GPUアーキテクチャの並列性を最大限に活用することで、FHEパイプラインを最適化する。
• COWCデータセットで学習された、AlexNetに類似したCNNアーキテクチャにGPUアクセラレートFHEレイヤーを統合する。
• 暗号化済みデータと未暗号化データの両方で推論時間と分類結果を比較し、性能と精度を測定する。

実験結果

リサーチクエスチョン

• RQ1 GPUアクセラレーションを用いることで、COWCのような大規模で現実世界のデータセットに対するFHEベースのニューラルネットワーク推論が実用的になるか？
• RQ2 GPUアクセラレーションは、暗号化された浮動小数点数に対するFHE演算の計算オーバーヘッドをどの程度低減できるか？
• RQ3 ReLUと平均プーリング層の多項式近似を用いたFHE互換性を持つCNNの性能は、標準のReLUベースのネットワークと比較してどの程度維持されるか？
• RQ4 プライバシー保護型MLaaS環境におけるFHEベース推論において、GPUをCPUと比較してどの程度の性能向上が得られるか？
• RQ5 AlexNetのような複雑なCNNアーキテクチャが、最適化されたFHE技術を用いて同型暗号化データ上で正常に評価可能か？

主な発見

• 提案されたFHE互換CNNは、同型暗号化データ上でCOWCデータセットに対して95％の分類精度を達成した。
• GPUアクセラレーションにより、暗号化データ上の単一乗算演算の実行時間がCPU実行と比較して4,500倍以上短縮された。
• GPUアクセラレートFHE演算を用いることで、暗号化された浮動小数点数の加算演算で10,000倍以上の高速化が達成された。
• 性能はGPUコア数にほぼ線形にスケーリングされ、FHE演算における並列処理の効率性が明確に示された。
• 本フレームワークは、大規模で現実世界のデータセット（COWC）上で複雑なCNNアーキテクチャを正常に評価した。本研究者らの知る限り、これはFHEを用いた同種の評価としては初である。
• ReLUおよび平均プーリング層の多項式近似の使用により、モデル性能が維持された一方で、同型評価が可能になった。