[논문 리뷰] Towards the AlexNet Moment for Homomorphic Encryption: HCNN, theFirst Homomorphic CNN on Encrypted Data with GPUs

Ahmad Al Badawi, Chao Jin외 7명|arXiv (Cornell University)|2018. 11. 02.

Cryptography and Data Security참고 문헌 39인용 수 16

한 줄 요약

이 논문은 완전호모모르픽 암호화(FHE)를 사용하여 암호화된 이미지에서 효율적이고 프라이버시를 보장하는 추론을 가능하게 하는 최초의 GPU 가속 호모모르픽 컨볼루션 신경망인 HCNN을 제시한다. 저해상도 정밀도 양자화 네트워크, 최적화된 FHE 파라미터, 고도로 병렬화된 GPU 구현 방식을 결합함으로써, HCNN은 MNIST에 대해 5.16초의 추론 지연, CIFAR-10에 대해 304.43초의 지연을 기록했으며, 각각 99%와 77.55%의 정확도를 달성했고, 80비트 이상의 보안 수준을 확보했다.

ABSTRACT

Deep Learning as a Service (DLaaS) stands as a promising solution for cloud-based inference applications. In this setting, the cloud has a pre-learned model whereas the user has samples on which she wants to run the model. The biggest concern with DLaaS is user privacy if the input samples are sensitive data. We provide here an efficient privacy-preserving system by employing high-end technologies such as Fully Homomorphic Encryption (FHE), Convolutional Neural Networks (CNNs) and Graphics Processing Units (GPUs). FHE, with its widely-known feature of computing on encrypted data, empowers a wide range of privacy-concerned applications. This comes at high cost as it requires enormous computing power. In this paper, we show how to accelerate the performance of running CNNs on encrypted data with GPUs. We evaluated two CNNs to classify homomorphically the MNIST and CIFAR-10 datasets. Our solution achieved a sufficient security level (> 80 bit) and reasonable classification accuracy (99%) and (77.55%) for MNIST and CIFAR-10, respectively. In terms of latency, we could classify an image in 5.16 seconds and 304.43 seconds for MNIST and CIFAR-10, respectively. Our system can also classify a batch of images (> 8,000) without extra overhead.

연구 동기 및 목표

• 완전호모모르픽 암호화(FHE)를 사용한 프라이버시 보장 딥러닝에서의 높은 계산 오버헤드 문제를 해결한다.
• 사용자 데이터나 모델 가중치를 폭로하지 않고 딥러닝 서비스(DLaaS) 환경에서 암호화된 데이터에 대한 효율적이고 안전한 추론을 가능하게 한다.
• GPU 가속과 시스템 수준 최적화를 통해 이전의 FHE 기반 CNN의 성능 저하 문제를 극복한다.
• 강력한 보안(80비트 이상)과 높은 분류 정확도를 유지하면서 실세계 적용에 적합한 추론 지연을 달성한다.
• 호모모르픽 추론이 실용적인 성능 수준에 도달할 수 있음을 입증하고, FHE 분야에서 AlexNet과 같은 전환점이 될 수 있음을 보여준다.

제안 방법

• MNIST용 5층 네트워크와 CIFAR-10용 11층 네트워크를 설계하여 호모모르픽 평가에 최적화된 FHE 우아한 컨볼루션 신경망 아키텍처를 개발한다.
• 저해상도 정밀도 양자화(43비트 평문 모듈러스)와 통합된 훈련/추론 네트워크를 적용하여 FHE 노이즈 증가와 회로 깊이를 감소시킨다.
• 보안, 노이즈 예산, 성능 간의 균형을 고려해 최적화된 고리 차원과 평문 모듈러스를 갖춘 A∗FV FHE 체계를 선택한다.
• SEAL 라이브러리를 사용하여 FHE 연산을 위한 고도로 최적화된 GPU 커널을 구현함으로써 호모모르픽 연산의 대량 병렬 처리를 가능하게 한다.
• 최대 8,192개의 이미지가 한 번에 처리되는 암호문 팩킹을 통한 배치 처리를 활용하여 계산 비용을 분산하고 처리량을 향상시킨다.
• 암호화된 입력에서 복호화된 출력까지의 종단 간 파이프라인을 통합하여 비상호작용적 클라이언트-서버 상호작용을 보장한다.

실험 결과

연구 질문

• RQ1 GPU 가속은 CPU 기반 FHE 시스템에 비해 암호화된 이미지에서 호모모르픽 추론의 지연을 어떻게 크게 줄일 수 있는가?
• RQ2 충분한 노이즈 예산을 확보하면서도 높은 정확도를 유지하기 위해 필요한 최소한의 네트워크 깊이와 정밀도는 무엇인가?
• RQ3 FHE 체계 선택(예: A∗FV 대비 SEAL)이 호모모르픽 CNN에서 노이즈 증가와 전체 성능에 어떤 영향을 미치는가?
• RQ4 배치 처리가 호모모르픽 이미지 분류에서 처리량 향상과 평균 지연 감소에 얼마나 기여하는가?
• RQ5 GPU에서 FHE를 사용할 경우, MNIST에 대해 10초 이내, CIFAR-10에 대해 10분 이내의 실용적인 추론 지연을 달성하는 것이 가능한가?

주요 결과

• HCNN는 MNIST에서 99% 정확도로 5.16초의 분류 지연을 기록했으며, 이는 이전 작업(CryptoNets, 570초) 대비 109배의 속도 향상이다.
• CIFAR-10에 대해 HCNN는 1개 이미지당 304.43초의 지연과 77.55%의 정확도를 기록했으며, FCryptoNets(22,372초)와 CryptoDL(11,686초)에 비해 수십만 배 이상의 성능 향상을 달성했다.
• 시스템은 최대 8,192개의 이미지를 추가 오버헤드 없이 배치 처리할 수 있었고, CIFAR-10에서 평균 지연은 단 0.372초/이미지에 도달했다.
• A∗FV는 SEAL에 비해 훨씬 낮은 노이즈 증가를 보였으며, 이는 보수적인 파라미터 세트에서도 MNIST HCNN의 성공적인 평가를 가능하게 했다.
• 최적화된 5층 MNIST 네트워크는 기존 CryptoNets의 80비트 모듈러스보다 작아진 43비트 평문 모듈러스를 사용했지만, 99% 정확도를 유지하고 더 높은 효율성을 확보했다.
• 해결책은 다양한 구성에서 91~175비트의 보안 수준을 확보하여 강력한 암호 보안성을 확보했으며, 성능 향상과의 타협 없이도 충분히 강력했다.