[논문 리뷰] TAPAS: Tricks to Accelerate (encrypted) Prediction As a Service

Amartya Sanyal, Matt J. Kusner외 2명|arXiv (Cornell University)|2018. 06. 09.

Cryptography and Data Security참고 문헌 30인용 수 40

한 줄 요약

이 논문은 TAPAS를 제시한다. TAPAS는 완전 동형 암호(FHE)에서 이진 신경망을 실행하여 빠른 암호화된 예측을 서비스로 제공하고, 프라이버시 보장과 다양한 속도 향상 트릭을 가능하게 한다.

ABSTRACT

Machine learning methods are widely used for a variety of prediction problems. \emph{Prediction as a service} is a paradigm in which service providers with technological expertise and computational resources may perform predictions for clients. However, data privacy severely restricts the applicability of such services, unless measures to keep client data private (even from the service provider) are designed. Equally important is to minimize the amount of computation and communication required between client and server. Fully homomorphic encryption offers a possible way out, whereby clients may encrypt their data, and on which the server may perform arithmetic computations. The main drawback of using fully homomorphic encryption is the amount of time required to evaluate large machine learning models on encrypted data. We combine ideas from the machine learning literature, particularly work on binarization and sparsification of neural networks, together with algorithmic tools to speed-up and parallelize computation using encrypted data.

연구 동기 및 목표

• 엄격한 클라이언트 데이터 프라이버시 및 최소한의 클라이언트/서버 상호작용 하에서 예측 서비스 추진.
• BNN(Binary Neural Networks)을 FHE와 함께 사용하여 암호화된 데이터에 대해 ML 추론을 수행하는 프레임워크를 제안.
• 활성화 및 배치 처리 등의 암호화된 내적(product), 활성화, 및 배치를 가속화하기 위한 불(Boolean) 회로 및 아키텍처 트릭을 개발.
• 클라이언트 데이터를 재암호화하지 않고도 모델을 업데이트하고 암호화된 계산을 희소화하는 실용적이고 병렬 가능한 방법을 제시.

제안 방법

• Binary 연산을 지원하는 TFHE 기반 FHE를 사용하여 암호화된 데이터에서 BNN 계층을 실행한다.
• 두 개의 내적 회로(Reduce-tree, Sorting-network)를 설계하고 런타임을 비교하여 더 효율적인 옵션을 선택한다.
• 얕은 회로(reduce-tree 또는 sorting network)를 사용하여 먼저 XNOR으로 내적을 수행한 뒤 합계(popcount)를 계산하는 암호화된 내적을 구현한다.
• 활성화에 대한 바이어스 조건 2S >= d - b를 강제하기 위한 바이어스(배치 정규화 바이어스 가능) 회로를 설계한다.
• 암호화된 합의 수를 줄이기 위해 이진 가중치 구조를 활용하여 암호화된 덧셈의 수를 줄이는 +1 트릭을 도입한다.
• 필요 시 연결을 제거하고 암호화된 계산을 추가로 줄이기 위해 가중치를 삼진화(−1,0,1)한다.
• Cancer, Diabetes, Faces, MNIST를 포함한 출력 및 데이터셋 전반에 걸친 병렬 평가를 시연한다.

실험 결과

연구 질문

• RQ1 이진 신경망을 FHE 데이터에서 효율적으로 평가하면서 정확도를 유지할 수 있는가?
• RQ2 암호화된 예측에 실용적인 속도 향상을 주는 회로 설계 및 트릭(Reduce-tree 대 Sorting-network, +1 트릭, 희소화)은 무엇인가?
• RQ3 최소한의 클라이언트 상호작용과 모델 업데이트를 가진 실용적인 EPAAS(Encrypted Prediction as a Service) 워크플로우로 프라이버시 보장은 어떻게 실현되는가?
• RQ4 모델 유형(이진/삼진)과 네트워크 깊이가 FHE 제약 하에서 정확도와 지연에 미치는 영향은 무엇인가?

주요 결과

• BNN 기반 암호화된 예측은 Floating-point 네트워크와 비교해 암호화된 여러 데이터세트(Cancer, Diabetes, Faces, MNIST)에서 경쟁력 있는 정확도를 달성한다.
• Reduce-tree 내적 회로가 병렬 설정에서 Sorting-network 기반 접근보다 암호화된 계산에 더 우수한 성능을 보인다.
• +1 트릭은 암호화된 합을 희소화하여 계층당 계산 시간을 사실상 절반으로 줄인다.
• 삼진화 가중치(−1,0,1)는 dataset에 따라 정확도 손실이 크지 않으면서 계산을 줄일 수 있다.
• 출력 전체에 걸친 완전한 병렬화는 레이턴시를 크게 감소시키며 데이터세트 전반에서 상당한 이점을 보여준다.
• MNIST에서 이 방법은 Floating-point 네트워크에 비해 경쟁력 있는 정확도를 달성하며, 프라이버시를 보존하는 실용적인 예측이 가능해진다.