[논문 리뷰] Crypto-Nets: Neural Networks over Encrypted Data

Pengtao Xie, Misha Bilenko외 4명|arXiv (Cornell University)|2014. 12. 18.

Privacy-Preserving Technologies in Data참고 문헌 16인용 수 133

한 줄 요약

이 논문은 동형 암호화를 사용하여 암호화된 데이터에서 신경망 추론을 가능하게 하는 시스템인 Crypto-Nets를 소개한다. 이는 원시 입력 또는 출력을 폭 lộ하지 않고도 안전한 클라우드 기반 예측을 가능하게 한다. 주요 기여는 비선형 활성화 함수를 다항수 근사와 수정된 학습을 통해 지원함으로써, 개인정보 보호 기반 기계학습을 위한 실용적인 프레임워크를 제공하는 것이다. 이는 헬스케어 및 금융과 같은 민감한 응용 분야에서 안전한 추론을 가능하게 한다.

ABSTRACT

The problem we address is the following: how can a user employ a predictive model that is held by a third party, without compromising private information. For example, a hospital may wish to use a cloud service to predict the readmission risk of a patient. However, due to regulations, the patient's medical files cannot be revealed. The goal is to make an inference using the model, without jeopardizing the accuracy of the prediction or the privacy of the data. To achieve high accuracy, we use neural networks, which have been shown to outperform other learning models for many tasks. To achieve the privacy requirements, we use homomorphic encryption in the following protocol: the data owner encrypts the data and sends the ciphertexts to the third party to obtain a prediction from a trained model. The model operates on these ciphertexts and sends back the encrypted prediction. In this protocol, not only the data remains private, even the values predicted are available only to the data owner. Using homomorphic encryption and modifications to the activation functions and training algorithms of neural networks, we show that it is protocol is possible and may be feasible. This method paves the way to build a secure cloud-based neural network prediction services without invading users' privacy.

연구 동기 및 목표

• 클라우드 제공자에게 개인 정보를 폭 lộ하지 않고도 암호화된 데이터에서 기계학습 추론을 가능하게 하기 위해.
• 신경망이 암호화된 입력에서 작동할 수 있도록 함으로써 클라우드 기반 기계학습에서의 기밀성-정확도 트레이드오프를 해결하기 위해.
• 동형 암호화를 사용하여 신경망을 개인정보 보호 기반으로 구현할 수 있는 실용적인 프레임워크를 개발하기 위해.
• 현실 세계의 제약 조건 하에서 암호화된 데이터를 기반으로 신경망을 훈련하고 미세조정하는 것이 가능한지 탐색하기 위해.

제안 방법

• 암호화된 데이터에서 복호화 없이 계산을 수행하기 위해 완전한 동형 암호화를 사용한다.
• 비선형 활성화 함수(예: ReLU, 시그모이드)의 다항수 근사를 통해 동형 암호화와의 호환성을 확보한다.
• 암호화된 가중치와 입력에서 손실 함수의 기울기를 계산하기 위해 백프로파게이션 알고리즘을 수정한다.
• 기본적으로 암호문에서 덧셈과 곱셈 연산을 지원하는 다소 동형 암호화 체계를 적용한다.
• 계산 복잡성을 관리하기 위해 전체 네트워크를 저차수 다항식으로 근사하는 학습 절차를 구현한다.
• 암호문 공간에서 전체 신경망 계산을 평가함으로써 암호화된 데이터에서의 추론을 지원한다.

실험 결과

연구 질문

• RQ1 예측 정확도와 데이터 기밀성을 유지하면서도 암호화된 데이터에서 신경망을 평가할 수 있는가?
• RQ2 학습을 위한 모델 훈련을 위해 암호화된 데이터에서 백프로파게이션과 가중치 갱신을 수행하는 것이 가능한가?
• RQ3 비선형 활성화 함수를 동형 암호화의 제약 조건에 맞게 어떻게 적응시킬 수 있는가?
• RQ4 현재 동형 암호화 체계로는 깊은 신경망을 암호화된 데이터에서 훈련할 때 어떤 실용적 제약이 존재하는가?
• RQ5 Crypto-Nets를 사용한 안전한 추론은 어떤 현실 세계의 시나리오에서 실용적으로 구현될 수 있는가?

주요 결과

• Crypto-Nets는 동형 암호화를 사용하여 암호화된 데이터에서 안전한 추론을 가능하게 하며, 클라우드나 제3자 모두 입력 데이터나 예측 결과를 접근할 수 없도록 보장한다.
• 활성화 함수에 대한 다항수 근사의 사용은 동형 암호화의 제약 조건 내에서 비선형 신경망을 암호화된 데이터에서 평가할 수 있도록 한다.
• Crypto-Nets를 통한 추론은 실현 가능하고 정확하여 의료 진단 및 금융 리스크 평가와 같은 개인정보 민감도가 높은 응용 분야에 적합하다.
• 현재 동형 암호화 기술로는 네트워크 깊이에 따라 다항식 차수의 지수적 증가로 인해 암호화된 데이터에서 깊은 신경망을 훈련하는 것은 계산적으로 불가능하다.
• 사전 훈련된 모델을 암호화된 데이터에서 미세조정하는 것은 이론적으로 가능하며, 소규모 데이터셋과 얕은 네트워크에서는 실용적일 수 있다.
• 다른 키로 암호화된 데이터를 집계하기 위해 보안 다자간 계산이 필요할 수 있으며, 이는 개인정보 제약 조건 하에서 협업 학습을 위한 길을 제시한다.