[논문 리뷰] CryptoGCN: Fast and Scalable Homomorphically Encrypted Graph Convolutional Network Inference

Ran Ran, Nuo Xu외 4명|arXiv (Cornell University)|2022. 09. 24.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

CryptoGCN은 프라이버시 보장 그래프 컨volution 네트워크(GCN) 추론을 위한 빠르고 확장 가능한 허밀토닉 암호화(HE) 프레임워크로, 인접행렬 인식(AMA) 데이터 포맷과 밀도 인식 최적화를 활용하여 허밀토닉 연산을 77.4% 감소시키고 NTU-XVIEW 데이터셋에서 정확도 손실 1–1.5% 이내로 최대 3.10×의 지연 감소를 달성한다.

ABSTRACT

Recently cloud-based graph convolutional network (GCN) has demonstrated great success and potential in many privacy-sensitive applications such as personal healthcare and financial systems. Despite its high inference accuracy and performance on cloud, maintaining data privacy in GCN inference, which is of paramount importance to these practical applications, remains largely unexplored. In this paper, we take an initial attempt towards this and develop $ extit{CryptoGCN}$--a homomorphic encryption (HE) based GCN inference framework. A key to the success of our approach is to reduce the tremendous computational overhead for HE operations, which can be orders of magnitude higher than its counterparts in the plaintext space. To this end, we develop an approach that can effectively take advantage of the sparsity of matrix operations in GCN inference to significantly reduce the computational overhead. Specifically, we propose a novel AMA data formatting method and associated spatial convolution methods, which can exploit the complex graph structure and perform efficient matrix-matrix multiplication in HE computation and thus greatly reduce the HE operations. We also develop a co-optimization framework that can explore the trade offs among the accuracy, security level, and computational overhead by judicious pruning and polynomial approximation of activation module in GCNs. Based on the NTU-XVIEW skeleton joint dataset, i.e., the largest dataset evaluated homomorphically by far as we are aware of, our experimental results demonstrate that $ extit{CryptoGCN}$ outperforms state-of-the-art solutions in terms of the latency and number of homomorphic operations, i.e., achieving as much as a 3.10$ imes$ speedup on latency and reduces the total Homomorphic Operation Count by 77.4\% with a small accuracy loss of 1-1.5$\%$.

연구 동기 및 목표

• 그래프 컨볼루션에서 행렬 곱셈으로 인한 고비용의 허밀토닉 암호화(HE) 기반 GCN 추론의 높은 계산 오버헤드 문제를 해결한다.
• 기존의 CNN에 최적화된 HE 프레임워크가 GCN의 고유한 계산 패턴으로 인해 비효율적이므로 이를 극복한다.
• GCN 추론에서의 허밀토닉 연산 수(HOC)와 지연 시간을 줄이고, 수용 가능한 정확도 및 보안 수준을 유지한다.
• 인간 동작 인식 데이터셋과 같은 대규모 프라이버시 민감한 그래프 데이터에 대해 성능을 훼손하지 않고도 HE를 활용한 프라이빗 추론을 가능하게 한다.
• 활성화 모듈에서 모델 프루닝과 다항식 근사 기법을 통해 보안, 정확도, 계산 비용 간의 트레이드오���을 최적화한다.

제안 방법

• 그래프 특징 맵을 재구성하여 GCN 행렬 연산의 밀도를 활용하고 허밀토닉 연산을 최소화하는 새로운 인접행렬 인식(AMA) 데이터 포맷 기법을 제안한다.
• 그래프 구조에 맞는 패턴 기반의 희소 행렬 분할 전략을 설계하여 행렬-행렬 곱셈 중 중복되는 HE 연산을 줄인다.
• CKKS 허밀토닉 암호화를 통한 암호문 패킹을 통합하여 슬롯 활용도를 극대화하고 미니배치 간 병렬성을 향상시킨다.
• 활성화 레이어 프루닝과 비선형 함수의 저차수 다항식 근사를 통해 정확도, 보안 수준, 계산 비용을 균형 잡는 공동 최적화 프레임워크를 구현한다.
• 공간-시간 GCN(ST-GCN 등)의 본질적 밀도를 활용하여 내부 루프에서 불필요한 허밀토닉 곱셈과 덧셈을 방지한다.
• 다중 샘플을 하나의 암호문으로 처리하는 배치 암호화를 적용하여 병렬성을 향상시키고 배치 크기가 증가할수록 샘플당 지연 시간을 감소시킨다.

실험 결과

연구 질문

• RQ1 허밀토닉 연산의 높은 비용에도 불구하고 GCN 추론에서 허밀토닉 암호화의 계산 오버헤드를 어떻게 크게 줄일 수 있는가?
• RQ2 인접행렬과 특징 맵의 밀도는 GCN 레이어에서 허밀토닉 연산 수를 최소화하는 데 얼마나 활용될 수 있는가?
• RQ3 표준 행 우선 포맷보다 AMA와 같은 맞춤형 데이터 포맷이 GCN에 대해 HE 연산 수와 추론 지연 시간 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ4 HE 기반 추론을 위한 GCN 아키텍처 최적화 시 정확도, 보안 수준, 계산 비용 간의 트레이드오프는 어떠한가?
• RQ5 제안된 프레임워크는 기존 연구 대비 수개의 수준 낮은 HE 연산 수로 대규모 GCN 추론(예: NTU-XVIEW 데이터셋)을 지원할 수 있는가?

주요 결과

• CryptoGCN는 64-STGCN-3 모델에서 최신 HE 기반 프레임워크인 CHET 및 Fast-HEAR 대비 총 허밀토닉 연산 수(HOC)를 77.4% 감소시켰다.
• 배치 크기가 1에서 16으로 증가함에 따라 평균 지연 시간에서 최대 3.10×의 성능 향상을 달성하여 강력한 확장성을 입증했다.
• 배치 크기가 16일 때, CryptoGCN는 평균 지연 시간 908.45초를 기록했고, 행 우선 포맷 대비 45,179.33초로 3.10×의 개선을 보였다.
• AMA 포맷은 다중 채널 컨볼루션에서 중복 내부 루프 연산을 제거하여 PMult 및 Add 연산을 52.5%–66.2% 감소시켰다.
• 활성화 레이어 하나를 프루닝하고 다항식 근사를 적용함으로써 CMult 연산을 40%–50% 감소시켜 추가로 계산 비용을 절감했다.
• 지금까지 가장 큰 크기로 평가된 NTU-XVIEW 데이터셋에서 CryptoGCN는 정확도 손실 1–1.5% 이내로 프라이빗 추론을 가능하게 하여 실용적 타당성을 입증했다.