[논문 리뷰] LinGCN: Structural Linearized Graph Convolutional Network for Homomorphically Encrypted Inference

Hongwu Peng, Ran Ran외 9명|arXiv (Cornell University)|2023. 09. 25.

Privacy-Preserving Technologies in Data인용 수 10

한 줄 요약

LinGCN은 CKKS 기반 암호화 GCN 추론에서 곱셈 깊이를 줄이기 위해 구조적 노드-별 선형화와 교사-가이드 다항식 치환을 제안하여 CryptoGCN과 비교했을 때 경쟁력 있는 정확도와 함께 상당한 대기 시간 속도 향상을 달성합니다.

ABSTRACT

The growth of Graph Convolution Network (GCN) model sizes has revolutionized numerous applications, surpassing human performance in areas such as personal healthcare and financial systems. The deployment of GCNs in the cloud raises privacy concerns due to potential adversarial attacks on client data. To address security concerns, Privacy-Preserving Machine Learning (PPML) using Homomorphic Encryption (HE) secures sensitive client data. However, it introduces substantial computational overhead in practical applications. To tackle those challenges, we present LinGCN, a framework designed to reduce multiplication depth and optimize the performance of HE based GCN inference. LinGCN is structured around three key elements: (1) A differentiable structural linearization algorithm, complemented by a parameterized discrete indicator function, co-trained with model weights to meet the optimization goal. This strategy promotes fine-grained node-level non-linear location selection, resulting in a model with minimized multiplication depth. (2) A compact node-wise polynomial replacement policy with a second-order trainable activation function, steered towards superior convergence by a two-level distillation approach from an all-ReLU based teacher model. (3) an enhanced HE solution that enables finer-grained operator fusion for node-wise activation functions, further reducing multiplication level consumption in HE-based inference. Our experiments on the NTU-XVIEW skeleton joint dataset reveal that LinGCN excels in latency, accuracy, and scalability for homomorphically encrypted inference, outperforming solutions such as CryptoGCN. Remarkably, LinGCN achieves a 14.2x latency speedup relative to CryptoGCN, while preserving an inference accuracy of 75% and notably reducing multiplication depth.

연구 동기 및 목표

• 클라우드 기반 GCN 추론에서 동형 암호화(HE)를 사용한 프라이버시 문제를 해결합니다.
• 작은 정확도 손실 없이 STGCN 기반 모델의 곱셈 깊이와 HE 대기 시간을 줄입니다.
• 노드-별 비선형 위치 선택을 위한 미분 가능 구조적 선형화 방법을 도입합니다.
• ReLU 활성화 함수를 대체하기 위한 교사-가이드의 노드-별 다항식 치환을 개발합니다.
• 연산자 융합으로 HE 워크플로우를 최적화하여 계산 깊이를 추가로 절감합니다.

제안 방법

• 보조 매개변수 h_w와 동기화된 노드-별 비선형 감소를 강제하는 구조적 편광 알고리즘(알고리즘 1)을 포함한 미분 가능 구조적 선형화.
• 정확도 손실과 남아 있는 비선형 연산자에 대한 L0 패널티를 결합한 학습 목표를 직전 전달 추정(STE)으로 그래디언트를 최적화합니다(Eq. 3).
• 노드-별 학습 가능한 다항식 활성화 σ_n(x)=c·w2·x^2 + w1·x + b를 ReLU 교사 모델의 두 단계 증류(Eq. 4, Eq. 5)로 학습합니다.
• 손실에 KL-발산 및 특징 맵 정렬 항을 포함한 다항식 학생을 안내하는 교사 ReLU 모델을 사용한 이중 증류.
• LinGCN 워크플로우를 설명하는 알고리즘 2: 사전 학습된 ReLU 교사, 구조적 선형화를 점진적으로 학습, 지시자 고정, ReLU를 다항식으로 대체, 그리고 다항식 학습 반복으로 마무리합니다.
• 천연어 처리와 Fusion 흐름에서 곱셈 깊이를 절감하기 위해 다항식 가중치를 컨볼루션 계층에 합치는 형태로 더 미세한 연산자 융합이 가능해진 강화된 HE 워크플로우(AAM 패킹 및 융합 흐름).
• NTU-XView 데이터를 포함한 CKKS 기반 암호화 STGCN에서 엔드 투 엔드 가능성을 시연하고, 더 깊은 모델에 대한 확장성 테스트를 수행합니다.

실험 결과

연구 질문

• RQ1 구조적이고 노드-별 선형화가 CKKS 기반 STGCN에서 곱셈 깊이를 큰 정확도 손실 없이 줄일 수 있나요?
• RQ2 교사-가이드 노드-별 다항식 치환이 프라이버시 보장 GCN 추론에서 층별 다항식 전략보다 성능이 우수한가요?
• RQ3 Skeleton 기반 동작 인식 데이터에서 CryptoGCN 대비 대기 시간 얼마나 개선되며 허용 가능한 정확도를 유지하나요?
• RQ4 HE 제약하에서 LinGCN은 더 깊은 STGCN 아키텍처에 얼마나 확장 가능합니까?

주요 결과

• LinGCN은 유사한 정확도(~75%)에서 CryptoGCN 대비 최대 14.2배의 대기 시간 속도 향상을 달성합니다.
• 노드-별로 동기화된 비선형 감소를 갖는 구조적 선형화가 정확도를 유지하면서 HE 레벨 소비를 감소시킵니다.
• 교사-가이드 노드-별 다항식 치환은 증류와 함께 수렴 속도를 개선하고 레이어별 다항식 전략과 비교하여 정확도를 보존하거나 향상시킵니다.
• LinGCN은 NTU-XView에서 STGCN-3-128, STGCN-3-256, STGCN-6-256 구성에서 경쟁력 있는 정확도와 상당한 대기 시간 감소를 보여주며, 더 깊은 모델에서 최대 85.78%의 정확도와 6371.39초의 대기 시간을 기록합니다.
• 비선형 레이어 감소에서도 정확도를 보존하고 CryptoGCN에 비해 대기 시간 범위에서 Pareto 최적성에 유리한 경향을 보입니다.