[논문 리뷰] Gazelle: A Low Latency Framework for Secure Neural Network Inference

Chiraag Juvekar, Vinod Vaikuntanathan외 1명|arXiv (Cornell University)|2018. 01. 16.

Cryptography and Data Security참고 문헌 23인용 수 175

한 줄 요약

Gazelle은 포장된 가산 동형암호와 혼잡 회로를 결합하여 이전 연구들보다 훨씬 낮은 온라인 대기시간과 대역폭으로 보안 CNN 추론을 가능하게 한다.

ABSTRACT

The growing popularity of cloud-based machine learning raises a natural question about the privacy guarantees that can be provided in such a setting. Our work tackles this problem in the context where a client wishes to classify private images using a convolutional neural network (CNN) trained by a server. Our goal is to build efficient protocols whereby the client can acquire the classification result without revealing their input to the server, while guaranteeing the privacy of the server's neural network. To this end, we design Gazelle, a scalable and low-latency system for secure neural network inference, using an intricate combination of homomorphic encryption and traditional two-party computation techniques (such as garbled circuits). Gazelle makes three contributions. First, we design the Gazelle homomorphic encryption library which provides fast algorithms for basic homomorphic operations such as SIMD (single instruction multiple data) addition, SIMD multiplication and ciphertext permutation. Second, we implement the Gazelle homomorphic linear algebra kernels which map neural network layers to optimized homomorphic matrix-vector multiplication and convolution routines. Third, we design optimized encryption switching protocols which seamlessly convert between homomorphic and garbled circuit encodings to enable implementation of complete neural network inference. We evaluate our protocols on benchmark neural networks trained on the MNIST and CIFAR-10 datasets and show that Gazelle outperforms the best existing systems such as MiniONN (ACM CCS 2017) by 20 times and Chameleon (Crypto Eprint 2017/1164) by 30 times in online runtime. Similarly when compared with fully homomorphic approaches like CryptoNets (ICML 2016) we demonstrate three orders of magnitude faster online run-time.

연구 동기 및 목표

• 클라우드 기반 CNN 추론의 프라이버시 문제를 다룬다. 여기서 클라이언트는 입력을 비공개로 유지하고 서버는 모델 매개변수를 비공개로 유지한다.
• 보안 CNN 추론을 위한 낮은 온라인 대기시간을 달성하는 확장 가능한 시스템을 설계한다.
• 선형 및 비선형 계산 단계를 최적화하기 위해 동형암호와 garbled circuits의 하이브리드를 활용한다.

제안 방법

• Gazelle을 세 부분 시스템으로 도입한다: 빠른 SIMD 덧셈, SIMD 스칼라 곱셈 및 자동동형성(automorphisms)을 위한 Gazelle Homomorphic Layer; 빠른 동형 행렬-벡터 곱과 합성곱을 위한 Gazelle Linear Algebra 커널; 전체 CNN 추론을 위해 garbled circuits와 동형 계산 간 전환하는 Gazelle Network Inference.

실험 결과

연구 질문

• RQ1 CNN 추론 작업을 어떻게 분할하여 선형 계층에는 동형 암호의 강점을, 비선형 계층에는 garbled circuits의 강점을 활용할 수 있는가?
• RQ2 보안 CNN 추론에서 (F)HE와 garbled circuits 간의 성능 트레이드오프는 무엇이며, 이를 실제로 어떻게 최적화할 수 있는가?
• RQ3 결합된 PAHE-GC 접근 방식이 기존의 보안 추론 시스템보다 더 낮은 온라인 대기시간과 대역폭을 달성할 수 있는가?

주요 결과

• Gazelle은 CIFAR-10에서 MiniONN(ACM CCS 2017)보다 온라인 런타임을 20배 더 빠르게, Chameleon(Crypto Eprint 2017/1164)보다 30배 더 빠르게 달성한다.
• Gazelle은 엔드투엔드 보안 추론에서 CryptoNets(ICML 2016)보다 온라인 런타임을 세 자릿수 차이로 더 빠르게 제공한다.
• CIFAR-10 네트워크에서 추론당 온라인 대역폭은 약 0.3 GB로 감소했고, MiniONN은 6.2 GB이다.
• LAN 설정에서의 엔드투엔드 지연은 3.6초로 입증되며, CIFAR-10 네트워크에서 MiniONN은 72초이다.
• Gazelle Homomorphic Layer는 선형대수 기본 연산에서 평문 대비 약 10~20배 느린 수준임에도 거의 평문에 준하는 성능를 보인다.