[논문 리뷰] Precise Approximation of Convolutional Neural Networks for Homomorphically Encrypted Data

Junghyun Lee, Eunsang Lee외 4명|arXiv (Cornell University)|2021. 05. 23.

Cryptography and Data Security인용 수 13

한 줄 요약

이 논문은 복소수 신경망(CNN)에서 ReLU 및 max-pooling 함수에 대한 정밀한 다항근사 기법을 제안하여, 동형 암호화된 데이터 상에서 효율적이고 프라이버시를 보장하는 추론을 가능하게 한다. 낮은 차수의 최소최대 다항식을 조합함으로써, 사전에 학습된 가중치를 가진 잘 알려진 모델들인 ResNet과 VGGNet을 워드단위로 완전한 동형 암호화(FHE)에서 직접 사용할 수 있게 하여 ImageNet에서 77.52%의 top-1 정확도를 달성하였으며, 원본 모델의 78.31% 정확도와 0.79% 이내의 오차를 보였다.

ABSTRACT

Homomorphic encryption is one of the representative solutions to privacy-preserving machine learning (PPML) classification enabling the server to classify private data of clients while guaranteeing privacy. This work focuses on PPML using word-wise fully homomorphic encryption (FHE). In order to implement deep learning on word-wise homomorphic encryption (HE), the ReLU and max-pooling functions should be approximated by some polynomials for homomorphic operations. Most of the previous studies focus on HE-friendly networks, where the ReLU and max-pooling functions are approximated using low-degree polynomials. However, for the classification of the CIFAR-10 dataset, using a low-degree polynomial requires designing a new deep learning model and training. In addition, this approximation by low-degree polynomials cannot support deeper neural networks due to large approximation errors. Thus, we propose a precise polynomial approximation technique for the ReLU and max-pooling functions. Precise approximation using a single polynomial requires an exponentially high-degree polynomial, which results in a significant number of non-scalar multiplications. Thus, we propose a method to approximate the ReLU and max-pooling functions accurately using a composition of minimax approximate polynomials of small degrees. If we replace the ReLU and max-pooling functions with the proposed approximate polynomials, well-studied deep learning models such as ResNet and VGGNet can still be used without further modification for PPML on FHE. Even pre-trained parameters can be used without retraining. We approximate the ReLU and max-pooling functions in the ResNet-152 using the composition of minimax approximate polynomials of degrees 15, 27, and 29. Then, we succeed in classifying the plaintext ImageNet dataset with 77.52% accuracy, which is very close to the original model accuracy of 78.31%.

연구 동기 및 목표

• 모델 재학습 없이도 표준 딥 러닝 모델을 동형 암호화된 데이터 상에서 추론할 수 있는 문제를 해결한다.
• 이전의 HE 우수성 네트워크에서 사용된 낮은 차수의 다항근사 기법의 한계를 극복하여, 모델 재설계가 필요하고 더 깊은 아키텍처로의 확장성이 떨어지는 문제를 해결한다.
• 정밀하고 조합 기반의 다항근사 기법을 통해 사전에 잘 연구되고 사전에 학습된 모델들인 ResNet과 VGGNet을 암호화된 데이터에서 직접 사용할 수 있도록 한다.
• 기존 FHE 체계와의 호환성을 유지하면서도 계산 오버헤드를 최소화하면서 원본 모델에 가까운 높은 추론 정확도를 달성한다.

제안 방법

• 낮은 차수(예: 15, 27, 29)의 최소최대 근사 다항식의 조합을 제안하여 ReLU 및 max-pooling 함수를 정밀하게 근사한다.
• 정밀도 파라미터 α를 사용하여 근사 오차를 제어하며, 원본 모델 출력과 근사 모델 출력 간의 차이가 상수 C에 대해 C·2⁻ᵅ 이내로 제한되도록 보장한다.
• ResNet과 같은 잔차 블록에 대한 오차 전파 분석을 일반화하여, 깊은 아키텍처에서도 오차가 C·2⁻ᵅ 이내로 유지됨을 증명한다.
• 근사 기법이 모델 구조를 유지하고, 재학습 없이도 사전에 학습된 가중치를 그대로 사용할 수 있음을 입증한다.
• 최근 FHE 부스트래핑 기술의 발전을 활용하여 고차수 다항식 평가를 효율적으로 처리한다.
• 오차 전파를 오차 함수 Eₐᵅ(e)로 형식화하고, 네트워크 깊이에 대한 수학적 귀납법을 통해 오차 경계를 유도함으로써 근사 정확도에 대한 이론적 보장을 확보한다.

실험 결과

연구 질문

• RQ1 모델 재학습 없이도 낮은 차수의 다항식을 사용하여 ReLU 및 max-pooling 함수를 정밀하게 근사할 수 있는가?
• RQ2 Polynomial 근사 기법을 사용할 때 ResNet과 같은 깊은 잔차 네트워크에서 근사 오차가 어떻게 제한되는가?
• RQ3 FHE를 사용하여 암호화된 ImageNet 데이터 상에서 프라이버시 보장 추론을 수행할 때, 사전에 학습된 모델인 ResNet-152는 어느 정도 활용 가능한가?
• RQ4 근사 정밀도(α로 제어)와 계산 비용 사이의 상호 교환 관계는 어떠한가?
• RQ5 최소최대 다항식의 조합이 기존 FHE 체계와 호환되면서도 원본 모델 정확도에 근접한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 동형 암호화를 사용하여 ResNet-152를 사용해 ImageNet 데이터셋에서 77.52%의 top-1 정확도를 달성하였으며, 원본 모델의 78.31% 정확도와 0.79% 이내의 오차를 보였다.
• 원본 모델과 근사 모델 간의 근사 오차는 C·2⁻ᵅ 이내로 제한되며, 이는 정밀도 파라미터 α를 증가시킬수록 오차가 지수적으로 감소함을 보장한다.
• ResNet과 VGGNet과 같이 잘 연구된 모델들은 ReLU 및 max-pooling 함수를 제안된 다항근사 기법으로 교체한 후, 사전에 학습된 가중치를 그대로 사용할 수 있다.
• 이전의 HE 우수성 접근 방식이 낮은 차수의 다항식으로 인한 큰 근사 오차로 인해 깊은 네트워크로의 확장에 한계를 가졌던 것에 비해, 본 방법은 더 깊은 네트워크를 지원한다.
• 이론적 분석을 통해 오차 전파 함수 Eᵣᵅ(e)가 Eᵣᵅ(e) ≤ C·2⁻ᵅ + (||P||∞ + C'₉)e 를 만족함을 증명하여, 잔차 네트워크에서도 오차가 유한하게 유지됨을 입증하였다.
• 기존의 아키텍처 수정 없이도, 표준 사전에 학습된 모델을 사용하여 ImageNet과 같은 복잡한 데이터셋에 대해 실용적인 프라이버시 보장 추론을 가능하게 한다.