[論文レビュー] Privacy-Preserving Machine Learning with Fully Homomorphic Encryption for Deep Neural Network

Joon-Woo Lee, HyungChul Kang+9 more|arXiv (Cornell University)|Jun 14, 2021

Cryptography and Data Security被引用数 4

ひとこと要約

本論文は、ブートストラップおよび非算術的活性化関数の高度な近似手法を併用した、RNS-CKKS完全準同型暗号（FHE）方式を用いた標準的なResNet-20畳み込みニューラルネットワークの最初の実装を提示する。CIFAR-10において90.67%の分類精度を達成し、平文モデルと98.67%の一致を示し、プライバシー保護型ディープラーニングにおける高精度と実現可能性を実証した。

ABSTRACT

Fully homomorphic encryption (FHE) is one of the prospective tools for privacypreserving machine learning (PPML), and several PPML models have been proposed based on various FHE schemes and approaches. Although the FHE schemes are known as suitable tools to implement PPML models, previous PPML models on FHE encrypted data are limited to only simple and non-standard types of machine learning models. These non-standard machine learning models are not proven efficient and accurate with more practical and advanced datasets. Previous PPML schemes replace non-arithmetic activation functions with simple arithmetic functions instead of adopting approximation methods and do not use bootstrapping, which enables continuous homomorphic evaluations. Thus, they could not use standard activation functions and could not employ a large number of layers. The maximum classification accuracy of the existing PPML model with the FHE for the CIFAR-10 dataset was only 77% until now. In this work, we firstly implement the standard ResNet-20 model with the RNS-CKKS FHE with bootstrapping and verify the implemented model with the CIFAR-10 dataset and the plaintext model parameters. Instead of replacing the non-arithmetic functions with the simple arithmetic function, we use state-of-the-art approximation methods to evaluate these non-arithmetic functions, such as the ReLU, with sufficient precision [1]. Further, for the first time, we use the bootstrapping technique of the RNS-CKKS scheme in the proposed model, which enables us to evaluate a deep learning model on the encrypted data. We numerically verify that the proposed model with the CIFAR-10 dataset shows 98.67% identical results to the original ResNet-20 model with non-encrypted data. The classification accuracy of the proposed model is 90.67%, which is pretty close to that of the original ResNet-20 CNN model...

研究の動機と目的

• 完全準同型暗号（FHE）を用いて標準的なディープニューラルネットワークのプライバシー保護型推論を可能にすること。
• 従来のFHEベースのPPMLモデルが簡略化された活性化関数を用い、ブートストラップを欠いていたという制限を克服すること。
• RNS-CKKS FHE方式を用いて、高精度かつ高精度で暗号化されたデータ上に完全なResNet-20モデルを実装すること。
• 高度なFHE技術が、再訓練を要せず、実世界の複雑なモデルに適用可能であることを実証すること。

提案手法

• 深く連続的なFHE評価を可能にするために、ブートストラップを併用したRNS-CKKS FHE方式を採用した。
• ReLUのような非算術的活性化関数に対して、最先端の近似手法を適用し、高精度を確保した。
• ノイズの増大を管理し、より深いネットワーク推論を可能にするためにブートストラップを統合した。
• パラメータチューニングとファインチューニングを用いて、精度、セキュリティ、パフォーマンスのバランスを最適化した。
• RNS-CKKSのパッケージング機能を活用して、複数のデータポイントを並列処理した。
• CIFAR-10データセットと平文重みを用いて、暗号化モデルと元のResNet-20との整合性を検証した。

実験結果

リサーチクエスチョン

• RQ1 最新のFHE方式を用いて、ResNet-20のような標準的なディープラーニングモデルを暗号化データ上で安全かつ正確に実行できるか？
• RQ2 モデル性能を損なわずに、FHEにおいてReLUのような非算術的活性化関数をどの程度高精度に近似できるか？
• RQ3 ブートストラップの導入が、FHEにおけるディープニューラルネットワーク推論の実現可能性とパフォーマンスに与える影響は何か？
• RQ4 RNS-CKKS FHE方式は、高精度な分類性能を達成する上で、複雑なモデル（例：ResNet-20）のエンドツーエンド推論をサポートできるか？
• RQ5 実行時間と精度の観点から、FHEベースの推論は平文推論と比べてどの程度の性能を示すか？

主な発見

• 提案されたFHEベースのResNet-20は、CIFAR-10で90.67%の分類精度を達成し、元のモデルの89.33%とほぼ同等であった。
• 10,000枚のテスト画像において、平文モデルと98.67%の一致率を示し、高い忠実度を確認した。
• 本研究では、深層学習の文脈で初めてRNS-CKKS方式にブートストラップを適用し、より深いネットワーク評価を可能にした。
• 1枚の画像推論に要した実行時間は、112コア、512GBメモリを搭載したデュアルIntel Xeon Platinum 8280システムで約4時間であった。
• 従来のワード単位FHEベースPPMLモデルにおけるCIFAR-10の最高精度は77%にとどまっていたが、本研究は顕著な向上を示した。
• セキュリティレベルは98ビットであり、パラメータ調整により向上可能だが、その代わりに実行時間が長くなる。