[논문 리뷰] Faster CryptoNets: Leveraging Sparsity for Real-World Encrypted Inference

Edward Chou, Josh Beal외 4명|arXiv (Cornell University)|2018. 11. 25.

Privacy-Preserving Technologies in Data참고 문헌 41인용 수 137

한 줄 요약

Faster CryptoNets 은 프루닝(pruning), 양자화(quantization), 및 희소 활성 근사(sparse activation-approximation) 를 도입하여 동형 암호화(homomorphic encryption) 기반 신경망 추론을 가속화하고 MNIST에서 경쟁력 있는 정확도와 더 빠른 런타임을 달성합니다.

ABSTRACT

Homomorphic encryption enables arbitrary computation over data while it remains encrypted. This privacy-preserving feature is attractive for machine learning, but requires significant computational time due to the large overhead of the encryption scheme. We present Faster CryptoNets, a method for efficient encrypted inference using neural networks. We develop a pruning and quantization approach that leverages sparse representations in the underlying cryptosystem to accelerate inference. We derive an optimal approximation for popular activation functions that achieves maximally-sparse encodings and minimizes approximation error. We also show how privacy-safe training techniques can be used to reduce the overhead of encrypted inference for real-world datasets by leveraging transfer learning and differential privacy. Our experiments show that our method maintains competitive accuracy and achieves a significant speedup over previous methods. This work increases the viability of deep learning systems that use homomorphic encryption to protect user privacy.

연구 동기 및 목표

• privacy-preserving ML via homomorphic encryption for encrypted inference in MLaaS scenarios.
• Develop methods to reduce the computational overhead of encrypted neural networks through sparsity and quantized polynomial representations.
• Derive an optimal sparse polynomial activation approximation compatible with HE to minimize error.
• Show practical viability with transfer learning and differential privacy in real-world datasets.

제안 방법

• 네트워크 프루닝(pruning)과 진행적 양자화(progressive quantization)를 도입하여 모델 가중치의 희소성을 강제합니다.
• 남은 가중치를 2의 거듭제곱으로 표현하여 HE에서 희소 다항 인코딩을 가능하게 합니다.
• Power-of-two 계수 제약 하에서 활성 함수의 최적 양자화 다항 근사를 개발합니다.
• monomial multipliers를 통한 동형 연산 수(HOPs)를 줄이기 위해 희소 평문-암호문 곱셈(sparse plaintext-ciphertext multiplication)을 사용합니다.
• 현실 세계의 응용 가능성을 높이면서 정확도를 유지하기 위해 특징 추출 프레임워크와 차등 프라이버시를 채택합니다.
• MNIST를 사용하고 HOP, 런타임, 정확도를 기존의 암호화 추론 방법과 비교 평가합니다.

실험 결과

연구 질문

• RQ1 희소성과 양자화된 다항 표현이 암호화된 신경망 추론의 HOP 및 실시간 wall-clock 시간을 크게 줄일 수 있는가?
• RQ2 Power-of-two 계수 제약 하에서 활성화 함수 표현력과 근사 오차 사이의 trade-off는 무엇인가?
• RQ3 프루닝, 양자화, 활성 근사화가 HE 제약 하에서 실제 데이터셋의 정확도에 어떤 영향을 미치는가?
• RQ4 단일 이미지 암호문 추론에 대한 접근법이 실세계 작업에 대해 실행 가능한가 및 확장 가능한가?

주요 결과

Method	PT-CT Adds	CT-CT Adds	PT-CT Mults	CT-CT Mults	Total HOPs	Encrypt+Decrypt Time	Inference Time	Test Set Accuracy	Message Size	Encryption Scheme
Faster CryptoNets	3,995	38,302	23,952	945	67,194	6.7 sec	39.1 sec	99.13	411.1 MB	FV-RNS
CryptoNets	2,205	312,137	296,842	—	612,129	47.5 sec	249.6 sec	99.13	367.5 MB	YASHE
CryptoDL-1	30,750	2.31e6	2.31e6	1.6e3	4.65e6	16.7 sec	148.9 sec	98.52	336.7 MB	BGV
CryptoDL-2	161,546	4.61e7	4.62e7	64,512	9.27e7	16.7 sec	320.0 sec	99.52	336.7 MB	BGV

• Faster CryptoNets 는 계층 전반에 걸쳐 동형 연산의 큰 감소를 달성하여 CryptoNets 및 CryptoDL 변형들보다 빠른 암호화 추론을 제공합니다.
• 계수의 제곱이 2의 거듭제곱인 활성화 근사는 MNIST에서 경쟁력 있는 테스트 정확도를 유지합니다.
• 희소 평문-암호문 곱셈은 특정 단항 곱셈기에 대해 O(n) 복잡도를 가능하게 하여 각 계층의 HOP를 감소시킵니다.
• 양자화 및 프루닝은 곱셈을 줄여 전체 HOP를 낮추면서 추론 정확도를 보존합니다.
• Swish-AQ 를 사용하는 Faster CryptoNets 와의 비교는 기존의 암호화 방법들보다 총 HOP 및 추론 시간이 훨씬 더 낮고 정확도 역시 경쟁력이 있음을 보여줍니다.
• 이 연구는 차등 프라이버시 및 특징 추출을 통한 실제 세계의 암호화 추론의 실행 가능성을 larger한 데이터셋에서 입증합니다.