[논문 리뷰] CryptoDL: Deep Neural Networks over Encrypted Data

Ehsan Hesamifard, Hassan Takabi외 1명|arXiv (Cornell University)|2017. 11. 14.

Cryptography and Data Security참고 문헌 1인용 수 292

한 줄 요약

이 논문은 활성화 함수(ReLU, Sigmoid, Tanh)를 레벨링 동형 암호화에 적합한 저차 다항식으로 근사하여 암호로 보호된 데이터에 대한 CNN 분류를 수행하는 프라이버시 보호 CNN 분류를 제안하고, MNIST 및 CIFAR-10에서 경쟁력 있는 결과와 처리량 측정을 보여준다.

ABSTRACT

Machine learning algorithms based on deep neural networks have achieved remarkable results and are being extensively used in different domains. However, the machine learning algorithms requires access to raw data which is often privacy sensitive. To address this issue, we develop new techniques to provide solutions for running deep neural networks over encrypted data. In this paper, we develop new techniques to adopt deep neural networks within the practical limitation of current homomorphic encryption schemes. More specifically, we focus on classification of the well-known convolutional neural networks (CNN). First, we design methods for approximation of the activation functions commonly used in CNNs (i.e. ReLU, Sigmoid, and Tanh) with low degree polynomials which is essential for efficient homomorphic encryption schemes. Then, we train convolutional neural networks with the approximation polynomials instead of original activation functions and analyze the performance of the models. Finally, we implement convolutional neural networks over encrypted data and measure performance of the models. Our experimental results validate the soundness of our approach with several convolutional neural networks with varying number of layers and structures. When applied to the MNIST optical character recognition tasks, our approach achieves 99.52\% accuracy which significantly outperforms the state-of-the-art solutions and is very close to the accuracy of the best non-private version, 99.77\%. Also, it can make close to 164000 predictions per hour. We also applied our approach to CIFAR-10, which is much more complex compared to MNIST, and were able to achieve 91.5\% accuracy with approximation polynomials used as activation functions. These results show that CryptoDL provides efficient, accurate and scalable privacy-preserving predictions.

연구 동기 및 목표

• CNN 추론에서 encrypted data로 계산하여 프라이버시 문제 해결.
• HE 친화적 다항식 활성화 개발(덧셈과 곱셈만).
• 다항식 근사 품질과 차수 선택의 이론적 정당화.
• MNIST와 CIFAR-10에서 암호화된 추론으로 CNN 성능 경험적 평가.
• HE 제약 하에서 정확도 및 예측 처리량 측면의 실용성 평가.

제안 방법

• 2-norm/error 고려와 Stone–Weierstrass 프레임워크를 이용한 저차 다항식으로 연속 함수 근사에 대한 이론적 기초 제공.
• HE 스킴에 맞춘 저차에 중점을 두고 활성화(ReLU, Sigmoid, Tanh)의 다항 근사 개발.
• 다항식 활성화를 사용해 CNN을 학습하고 MNIST/CIFAR-10에서 평문 기반 원래 활성화와 비교.
• HE(HELib)를 이용한 암호화 데이터에서 CNN 구현 및 암호화 추론 성능과 정확도 평가.
• 다항 차수, 근사 품질, 계산 효율성 간의 트레이드오프 분석.

실험 결과

연구 질문

• RQ1 CNN의 활성화 함수를 동형 암호화에 적합한 저차 다항식으로 정확히 근사할 수 있는가?
• RQ2 HE 친화적 활성화로 학습된 CNN에서 차수가 분류 정확도에 미치는 영향은?
• RQ3 HE 기반 프라이버시 보강 CNN은 표준 벤치마크(MNIST, CIFAR-10)에서 평문 모델과 비교해 어떤 성능을 보이는가?
• RQ4 암호화된 CNN 추론의 처리량은 어떠하며 실제 활용성은?

주요 결과

활성화 함수	원래 모델	다항식 모델
ReLU	99.56%	99.52%
Sigmoid	98.85%	98.94%
Tanh	97.27%	98.15%

• MNIST에서 다항 활성화를 갖는 CNN은 원래 ReLU 모델의 99.56% 대비 99.52%의 정확도를 달성했다.
• 더 깊은 CNN에서 다항 활성화의 정확도는 99.32%에 이르며 깊이가 증가함에 따라 평문 성능을 밀접하게 추적한다.
• ReLU에 대해 차수 2/3 다항식으로도 정확도가 여전히 강력하며(예: 한 설정에서 98.52%, 더 높은 차수에서 99.21%).
• CIFAR-10에서 근사 다항식을 사용한 이 방법은 91.5%의 정확도를 달성한다.
• HElib를 사용한 암호화 추론 실험은 SIMD 배치 및 측정된 암호화/분류 시간과 함께 실용적 성능을 보여주며 MNIST의 처리량은 시당 약 164,000 예측까지 보고된다.
• 결과는 CryptoDL이 효율적이고 정확하며 확장 가능한 프라이버시 보호 예측을 제공함을 시사한다.