[論文レビュー] Precise Approximation of Convolutional Neural Networks for Homomorphically Encrypted Data

Junghyun Lee, Eunsang Lee+4 more|arXiv (Cornell University)|May 23, 2021

Cryptography and Data Security被引用数 13

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）におけるReLUおよびマックスプーリング関数の正確な多項式近似技術を提案し、同型暗号化されたデータ上で効率的かつプライバシー保護型の推論を可能にする。小規模な次数のミニマックス多項式を組み合わせることで、事前学習済み重みを有する標準的なモデル（例：ResNet や VGGNet）を、ワード単位の完全同型暗号化（FHE）上で直接使用可能とし、ImageNet で元のモデルの 78.31% から 0.79% 以内の 77.52% のトップ1精度を達成する。

ABSTRACT

Homomorphic encryption is one of the representative solutions to privacy-preserving machine learning (PPML) classification enabling the server to classify private data of clients while guaranteeing privacy. This work focuses on PPML using word-wise fully homomorphic encryption (FHE). In order to implement deep learning on word-wise homomorphic encryption (HE), the ReLU and max-pooling functions should be approximated by some polynomials for homomorphic operations. Most of the previous studies focus on HE-friendly networks, where the ReLU and max-pooling functions are approximated using low-degree polynomials. However, for the classification of the CIFAR-10 dataset, using a low-degree polynomial requires designing a new deep learning model and training. In addition, this approximation by low-degree polynomials cannot support deeper neural networks due to large approximation errors. Thus, we propose a precise polynomial approximation technique for the ReLU and max-pooling functions. Precise approximation using a single polynomial requires an exponentially high-degree polynomial, which results in a significant number of non-scalar multiplications. Thus, we propose a method to approximate the ReLU and max-pooling functions accurately using a composition of minimax approximate polynomials of small degrees. If we replace the ReLU and max-pooling functions with the proposed approximate polynomials, well-studied deep learning models such as ResNet and VGGNet can still be used without further modification for PPML on FHE. Even pre-trained parameters can be used without retraining. We approximate the ReLU and max-pooling functions in the ResNet-152 using the composition of minimax approximate polynomials of degrees 15, 27, and 29. Then, we succeed in classifying the plaintext ImageNet dataset with 77.52% accuracy, which is very close to the original model accuracy of 78.31%.

研究の動機と目的

• 再訓練を必要とせずに、標準的なディープラーニングモデルを同型暗号化されたデータ上で推論する課題に対処すること。
• 従来のHEフレンドリーなネットワークで用いられる低次多項式近似の限界を克服し、モデルの再設計を要せず、より深いアーキテクチャへスケーリング可能にする。
• ResNet や VGGNet といったよく研究された事前学習済みモデルを、正確で構成ベースの多項式近似により暗号化されたデータ上で直接使用可能にする。
• 計算コストの増加を最小限に抑えつつ、既存のFHE方式と互換性を保ちながら、元のモデルに近い高い推論精度を達成すること。

提案手法

• 小規模な次数（例：15, 27, 29）のミニマックス近似多項式を組み合わせることで、ReLUおよびマックスプーリング関数を高精度に近似する。
• 近似誤差を制御するための精度パラメータ α を用い、元のモデル出力と近似モデル出力の差が定数 C に対して C·2⁻ᵅ 以内に抑えられることを保証する。
• ResNet のような残差ブロックにおける誤差伝搬解析を一般化し、深層アーキテクチャにおいても誤差が C·2⁻ᵅ 以内に抑えられることを証明する。
• 近似がモデル構造を保持することを示し、再訓練を伴わず事前学習済み重みを直接使用可能にすることを実証する。
• 最近のFHEのブートストラップ技術の進展を活用し、高次多項式評価を効率的に行える。
• 誤差関数 Eₐᵅ(e) を用いて誤差伝搬を形式化し、ネットワークの深さに関する帰納法を用いて境界を導出し、近似精度に関する理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を要せず、低次多項式を用いてReLUおよびマックスプーリング関数を高精度に近似できるか？
• RQ2 多項式近似を用いる場合、ResNet などの深層残差ネットワークにおける近似誤差はどのように制御できるか？
• RQ3 ResNet-152 などの事前学習済みモデルを、FHEを用いた暗号化されたImageNetデータ上でプライバシー保護型推論に使用できる範囲はどの程度か？
• RQ4 近似精度（α で制御）と計算コストのトレードオフはどのように変化するか？
• RQ5 ミニマックス多項式の組み合わせにより、元のモデルに非常に近い精度を達成しつつ、既存のFHE方式と互換性を保てるか？

主な発見

• 提案手法により、同型暗号化を用いたResNet-152を用いたImageNetデータセットにおけるトップ1精度は77.52%に達し、元のモデルの78.31%から0.79%以内の差に抑えられた。
• 元のモデルと近似モデルとの間の近似誤差は C·2⁻ᵅ で抑えられ、精度パラメータ α を大きくすることで誤差が指数関数的に減少することが保証された。
• ResNet や VGGNet といったよく研究されたモデルは、ReLU およびマックスプーリングを提案手法の多項式近似に置き換えることで、事前学習済み重みをそのままで直接使用可能となった。
• 従来のHEフレンドリーなアプローチに比べ、低次多項式による大きな近似誤差の制限を克服し、より深いネットワークのサポートが可能となった。
• 理論的解析により、誤差伝搬関数 Eᵣᵅ(e) が Eᵣᵅ(e) ≤ C·2⁻ᵅ + (||P||∞ + C'₉)e を満たすことが証明され、残差ネットワーク内でも誤差が有界であることが保証された。
• 本手法により、アーキテクチャの変更や再訓練を伴わず、標準的で事前学習済みのモデルを用いて、ImageNet などの複雑なデータセットに対しても実用的なプライバシー保護型推論が可能となった。