[논문 리뷰] nGraph-HE2: A High-Throughput Framework for Neural Network Inference on Encrypted Data

Fabian Boemer, Anamaria Costache외 2명|arXiv (Cornell University)|2019. 08. 12.

Advanced Neural Network Applications참고 문헌 37인용 수 31

한 줄 요약

nGraph-HE2는 CKKS 암호화 기반으로 동작하는 고처리량 프레임워크로, 동반자 계산 기반의 두 명의 참여자 간 계산을 통해 다항식이 아닌 활성화 함수를 지원하는 표준 사전 훈련된 모델을 암호화된 데이터에서 프라이버시를 보장하면서 추론할 수 있도록 한다. 이는 CryptoNets에서 초당 1998장의 이미지 처리를 달성하며, ImageNet에서 MobileNetV2의 첫 번째 동형 평가를 실현하여 상위 1위 정확도 60.4%와 평균 381ms/이미지의 런타임을 확보한다.

ABSTRACT

In previous work, Boemer et al. introduced nGraph-HE, an extension to the Intel nGraph deep learning (DL) compiler, that enables data scientists to deploy models with popular frameworks such as TensorFlow and PyTorch with minimal code changes. However, the class of supported models was limited to relatively shallow networks with polynomial activations. Here, we introduce nGraph-HE2, which extends nGraph-HE to enable privacy-preserving inference on standard, pre-trained models using their native activation functions and number fields (typically real numbers). The proposed framework leverages the CKKS scheme, whose support for real numbers is friendly to data science, and a client-aided model using a two-party approach to compute activation functions. We first present CKKS-specific optimizations, enabling a 3x-88x runtime speedup for scalar encoding, and doubling the throughput through a novel use of CKKS plaintext packing into complex numbers. Second, we optimize ciphertext-plaintext addition and multiplication, yielding 2.6x-4.2x runtime speedup. Third, we exploit two graph-level optimizations: lazy rescaling and depth-aware encoding, which allow us to significantly improve performance. Together, these optimizations enable state-of-the-art throughput of 1,998 images/s on the CryptoNets network. Using the client-aided model, we also present homomorphic evaluation of (to our knowledge) the largest network to date, namely, pre-trained MobileNetV2 models on the ImageNet dataset, with 60.4\percent/82.7\percent\ top-1/top-5 accuracy and an amortized runtime of 381 ms/image.

연구 동기 및 목표

• 표준 사전 훈련된 딥 뉴럴 네트워크를 위한 효율적이고 고처리량의 암호화된 데이터 추론을 가능하게 하기 위해 동형 암호화를 적용한다.
• 이전 프레임워크가 다항식 활성화 함수에만 제한된 점을 극복하기 위해 ReLU 및 MaxPool와 같은 비다항식 함수를 위한 클라이언트 보조 계산을 도입한다.
• 딥 러닝 워크로드에 최적화된 새로운 인코딩, 패킹 및 그래프 수준 기법을 통해 CKKS 동형 암호화 기반의 성능을 향상시킨다.
• 모델 재훈련이나 암호화 전문 지식 없이도 텐서플로우 및 파이토치와 같은 주요 딥 러닝 프레임워크와 원활하게 통합되도록 한다.
• 실제 모델인 ImageNet 기반의 MobileNetV2와 같은 대규모 현대 모델을 암호화된 데이터에서 평가할 때 정확도를 유지하면서 낮은 지연 시간과 고처리량을 달성한다.

제안 방법

• 실수를 직접 지원하고 플레인텍스트 패킹을 허용하는 CKKS 동형 암호화 기반으로, 암호화된 데이터에서 효율적인 계산을 가능하게 한다.
• 클라이언트 보조 양자간 계산 기법을 도입하여, 클라이언트가 플레인텍스트 데이터에서 비다항식 활성화 함수(예: ReLU, MaxPool)를 수행하고 결과를 암호화하여 서버로 반환한다.
• 복소수 패킹을 통한 CKKS 내 스칼라 인코딩 최적화로 최대 88배의 속도 향상과 이중 처리량 증가를 달성한다.
• 지연 시간 감소 및 CryptoNets 네트워크 성능 향상을 위해 지연 재스케일링 및 깊이 기반 인코딩 등의 그래프 수준 최적화를 적용한다.
• 다중 이미지를 한 번의 배치에서 효율적으로 처리하기 위해 배치 축 기반 플레인텍스트 패킹을 활용하여 리쉐이프 연산을 최적화한다.
• 선형층은 암호화 계산을, 비선형 함수는 클라이언트 측 계산을 조합한 하이브리드 접근 방식을 사용하여 암호화 오버헤드를 최소화하면서도 프라이버시를 유지한다.

실험 결과

연구 질문

• RQ1 ReLU 및 MaxPool와 같은 비다항식 활성화 함수를 포함한 표준 사전 훈련된 딥 뉴럴 네트워크에 대해 동형 암호화를 효율적으로 적용할 수 있는가?
• RQ2 CKKS 내 플레인텍스트 패킹을 어떻게 최적화하여 딥 러닝 추론에서 암호화된 데이터 처리의 처리량을 극대화할 수 있는가?
• RQ3 동형 추론에서 런타임 오버헤드를 크게 줄일 수 있는 그래프 수준 최적화는 무엇인가? 특히 CryptoNets와 같은 소규모 네트워크에 대해.
• RQ4 MobileNetV2와 같은 대규모 현대 모델을 암호화된 ImageNet 데이터에서 동형 평가할 수 있는가? 정확도와 지연 시간이 수용 가능한가?
• RQ5 클라이언트 보조 계산은 서버의 계산 부담을 얼마나 줄일 수 있으며, 동시에 종단 간 프라이버시를 유지할 수 있는가?

주요 결과

• nGraph-HE2는 최적화된 스칼라 인코딩과 패킹을 적용한 CKKS 기반 동형 암호화를 통해 CryptoNets 네트워크에서 최신 기술 수준의 처리량인 1998장/초를 달성한다.
• 최적화된 복소수 패킹 및 CKKS 전용 최적화를 통해 스칼라 인코딩 지연 시간을 3배에서 최대 88배까지 감소시켰다.
• SEAL 라이브러리의 알고리즘 및 구현 수준 개선을 통해 암호문-플레인텍스트 덧셈 및 곱셈 연산의 처리 속도를 2.6배에서 4.2배까지 향상시켰다.
• 지연 재스케일링을 통해 CryptoNets 네트워크에서 지연 시간을 최대 8배까지 감소시켰다. 재스케일링 연산을 필요할 때까지 연기함으로써 효율성을 높였다.
• LAN 환경에서 ImageNet 데이터 기반으로 MobileNetV2의 첫 번째 동형 평가를 성공적으로 수행하였으며, 상위 1위 정확도 60.4%, 상위 5위 정확도 82.7%를 확보하였고, 이미지당 평균 런타임은 381ms였다.
• 동형 암호화로 인한 정확도 저하가 극히 미미하여, 모든 테스트 이미지 크기에서 평균 상위 1위 정확도 감소율이 0.0136(50,000장 중 약 7장)에 불과했다.