[논문 리뷰] CryptoNN: Training Neural Networks over Encrypted Data

Runhua Xu, James Joshi외 1명|arXiv (Cornell University)|2019. 04. 15.

Cryptography and Data Security참고 문헌 40인용 수 9

한 줄 요약

CryptoNN는 기능 암호화를 사용하여 암호화된 데이터에서 직접 딥 뉴럴 네트워크를 훈련시키는 새로운 프레임워크를 제안한다. 이는 이전의 동형 암호화 및 보안 다자간 계산 접근 방식의 한계를 극복하며, MNIST에서 평문 모델과 유사한 훈련 정확도를 달성하면서도 데이터 프라이버시를 유지한다. 이는 산술 연산을 위한 맞춤형 기능 암호화 기법을 통해 실현된다.

ABSTRACT

Emerging neural networks based machine learning techniques such as deep learning and its variants have shown tremendous potential in many application domains. However, they raise serious privacy concerns due to the risk of leakage of highly privacy-sensitive data when data collected from users is used to train neural network models to support predictive tasks. To tackle such serious privacy concerns, several privacy-preserving approaches have been proposed in the literature that use either secure multi-party computation (SMC) or homomorphic encryption (HE) as the underlying mechanisms. However, neither of these cryptographic approaches provides an efficient solution towards constructing a privacy-preserving machine learning model, as well as supporting both the training and inference phases. To tackle the above issue, we propose a CryptoNN framework that supports training a neural network model over encrypted data by using the emerging functional encryption scheme instead of SMC or HE. We also construct a functional encryption scheme for basic arithmetic computation to support the requirement of the proposed CryptoNN framework. We present performance evaluation and security analysis of the underlying crypto scheme and show through our experiments that CryptoNN achieves accuracy that is similar to those of the baseline neural network models on the MNIST dataset.

연구 동기 및 목표

• 감정 데이터나 기타 민감한 사용자 데이터를 기반으로 한 딥 러닝 모델 훈련 시 발생하는 심각한 프라이버시 위험을 해결하기 위해.
• 기존의 프라이버시 보장 방법, 예를 들어 보안 다자간 계산 및 동형 암호화의 한계를 극복하기 위해. 이는 암호화된 데이터에서의 훈련을 지원하지 않거나 효율성이 떨어지기 때문이다.
• 데이터나 모델 파라미터에 평문 접근 없이도 암호화된 데이터에서 훈련과 추론을 모두 가능하게 하기 위해.
• 신경망 훈련에 필요한 산술 연산을 위해 특화된 기능 암호화 체계를 설계하고 구현하기 위해.
• 실제 데이터셋인 MNIST와 같은 데이터셋을 대상으로 제안된 CryptoNN 프레임워크의 보안성, 정확도 및 성능을 평가하기 위해.

제안 방법

• 프레임워크는 암호화된 데이터에서 계산을 수행할 수 있도록 해주는 핵심 암호 primitive로 기능 암호화(FE)를 사용한다.
• 신경망 훈련에서 필수적인 기본 산술 연산(예: 덧셈, 곱셈)을 지원하기 위해 특화된 기능 암호화 체계를 구축한다.
• 훈련 과정은 암호화된 데이터에서 확률적 경사 하강법(SGD)을 사용하여 수행되며, 기울기 계산과 업데이트가 모두 암호화된 도메인에서 이루어진다.
• 최종 모델은 오직 정당한 당사자(예: 데이터 소유자)만 복호화할 수 있도록 보장하여, 데이터 및 모델 파라미터의 기밀성을 유지한다.
• 실용성을 확보하기 위해 다입력 기능 암호화 또는 Intel SGX와 같은 하드웨어 지원 기반 기술을 활용한 기존 FE 구조를 활용한다.
• 성능 평가는 기준 모델과의 정확도 및 훈련 시간 비교를 위해 MNIST 데이터셋을 대상으로 두 에포크와 배치 크기 64로 평가한다.

실험 결과

연구 질문

• RQ1 기능 암호화를 사용하여 암호화된 데이터에서 직접 신경망을 훈련시킬 수 있으며, 이때 모델 정확도를 유지할 수 있는가?
• RQ2 기능 암호화를 사용해 암호화된 데이터에서 훈련하는 성능은 평문 데이터에서의 훈련과 비교해 어떻게 되는가?
• RQ3 신경망 훈련 맥락에서 제안된 기능 암호화 체계가 제공하는 보안 보장 수준은 무엇인가?
• RQ4 기존의 동형 암호화 기반 접근 방식과 달리, 제안된 프레임워크는 암호화된 데이터에서 훈련과 추론 단계를 모두 지원할 수 있는가?
• RQ5 기능 암호화를 딥 러닝 훈련에 적용할 경우 실용적인 확장성과 효율성의 상충 관계는 어떠한가?

주요 결과

• CryptoNN는 평문 데이터에서 훈련된 기준 신경망 모델과 유사한 정확도를 MNIST 데이터셋에서 확보한다.
• 암호화 연산의 계산 오버헤드로 인해 CryptoNN의 훈련 시간은 평문 훈련보다 현저히 길지만, 모델은 여전히 훈련 가능하다.
• 기능 암호화 체계는 암호화된 데이터에서의 안전한 계산을 가능하게 하며, 모델 훈련에 필요한 전파 알고리즘 전체 과정을 지원한다.
• 프레임워크는 강력한 프라이버시 보장을 제공하여, 클라우드 제공자나 신뢰할 수 없는 제3자도 평문 데이터나 모델 파라미터에 접근할 수 없다.
• 보안 분석 결과, 체계는 알려진 공격에 저항하며 훈련 전 과정 동안 데이터 기밀성을 유지한다.
• 결과적으로 기능 암호화는 동형 암호화 및 보안 다자간 계산과 같은 기존 기법들에 비해 프라이버시 보장 딥 러닝을 위한 실용적인 대안임을 입증한다.