[論文レビュー] Towards the AlexNet Moment for Homomorphic Encryption: HCNN, theFirst Homomorphic CNN on Encrypted Data with GPUs

Ahmad Al Badawi, Chao Jin+7 more|arXiv (Cornell University)|Nov 2, 2018

Cryptography and Data Security参考文献 39被引用数 16

ひとこと要約

本論文は、完全準同型暗号（FHE）を用いて暗号化された画像上で効率的でプライバシー保護型の推論を可能にする、最初のGPUアクセラレート型同型畳み込みニューラルネットワークであるHCNNを提示する。低精度の量子化ネットワーク、最適化されたFHEパラメータ、および高度に並列化されたGPU実装を組み合わせることで、MNISTでは5.16秒、CIFAR-10では304.43秒の推論遅延を達成し、それぞれ99%および77.55%の精度を実現した。安全性は80ビット以上を達成した。

ABSTRACT

Deep Learning as a Service (DLaaS) stands as a promising solution for cloud-based inference applications. In this setting, the cloud has a pre-learned model whereas the user has samples on which she wants to run the model. The biggest concern with DLaaS is user privacy if the input samples are sensitive data. We provide here an efficient privacy-preserving system by employing high-end technologies such as Fully Homomorphic Encryption (FHE), Convolutional Neural Networks (CNNs) and Graphics Processing Units (GPUs). FHE, with its widely-known feature of computing on encrypted data, empowers a wide range of privacy-concerned applications. This comes at high cost as it requires enormous computing power. In this paper, we show how to accelerate the performance of running CNNs on encrypted data with GPUs. We evaluated two CNNs to classify homomorphically the MNIST and CIFAR-10 datasets. Our solution achieved a sufficient security level (> 80 bit) and reasonable classification accuracy (99%) and (77.55%) for MNIST and CIFAR-10, respectively. In terms of latency, we could classify an image in 5.16 seconds and 304.43 seconds for MNIST and CIFAR-10, respectively. Our system can also classify a batch of images (> 8,000) without extra overhead.

研究の動機と目的

• 完全準同型暗号（FHE）を用いたプライバシー保護型ディープラーニングにおける高い計算オーバーヘッドという重要な課題に取り組む。
• ユーザーのデータやモデル重みを露呈せずに、Deep Learning as a Service（DLaaS）における暗号化データ上の効率的で安全な推論を実現する。
• GPUアクセラレーションとシステムレベルの最適化を活用することで、従来のFHEベースのCNNにおける性能ボトルネックを克服する。
• 強力なセキュリティ（80ビット以上）と高い分類精度を維持しつつ、実世界への展開にふさわしい推論遅延を達成する。
• 同型推論が近い実用的性能にまで加速可能であることを実証し、FHEにおけるAlexNetに相当する画期的な進歩をもたらす。

提案手法

• MNIST用に5層、CIFAR-10用に11層のFHEに適したCNNアーキテクチャを設計し、同型評価に最適化する。
• FHEノイズの増加と回路の深さを低減するため、低精度の量子化（MNISTでは43ビットの平文モジュラス）と統一されたトレーニング/推論ネットワークを採用する。
• 安全性、ノイズ予算、パフォーマンスのバランスを考慮し、リング次元と平文モジュラスを最適化したA∗FV FHE方式を選択する。
• SEALライブラリを用いて、FHE演算の高度に最適化されたGPUカーネルを実装し、同型演算の並列処理を大規模に実現する。
• 1回のバッチに最大8,192枚の画像をパッケージングする暗号テキストのバッチ処理を活用し、計算コストを均等に分散させ、スループットを向上させる。
• 暗号化された入力から復号化された出力までのエンドツーエンドのパイプラインを統合し、非インタラクティブなクライアント・サーバー間のやり取りを実現する。

実験結果

リサーチクエスチョン

• RQ1 GPUアクセラレーションは、CPUベースのFHEシステムと比較して、暗号化画像上の同型推論の遅延を顕著に短縮できるか？
• RQ2 十分なノイズ予算を確保しつつ、高い精度を維持するための最小限のネットワーク深さと精度は何か？
• RQ3 FHE方式の選択（例：A∗FV対SEAL）は、同型CNNにおけるノイズ増加と全体的なパフォーマンスにどのように影響するか？
• RQ4 バッチ処理は、同型画像分類におけるスループットの向上と、平均化された遅延の短縮にどの程度寄与するか？
• RQ5 GPU上のFHEを用いて、MNISTでは10秒未塔、CIFAR-10では10分未塔の実用的推論遅延を達成することは可能か？

主な発見

• HCNNはMNISTで99%の精度を達成し、5.16秒の分類遅延を実現した。これは、先行研究（CryptoNets）の570秒と比較して109倍の高速化である。
• CIFAR-10では、77.55%の精度を達成し、1枚あたり304.43秒の遅延を実現した。これは、FCryptoNets（22,372秒）およびCryptoDL（11,686秒）と比較して、桁違いの性能向上を達成した。
• 最大8,192枚の画像を一度に処理できるバッチ処理をサポートし、追加のオーバーヘッドなしに、CIFAR-10では1枚あたり0.372秒の平均遅延を達成した。
• A∗FVはSEALよりも顕著に低いノイズ増加を示し、保守的なパrameterセットでもMNIST HCNNの正常な評価が可能であった。
• 最適化された5層MNISTネットワークは、43ビットの平文モジュラスを用いており、CryptoNetsの80ビットモジュラスよりも小さいにもかかわらず、99%の精度を維持し、より高い効率性を実現した。
• セキュリティレベルは80ビット以上（異なる設定で91〜175ビット）を達成し、パフォーマンスを犠牲にすることなく強力な暗号的セキュリティを確保した。