[논문 리뷰] HETAL: Efficient Privacy-preserving Transfer Learning with Homomorphic Encryption

Seewoo Lee, Garam Lee외 3명|arXiv (Cornell University)|2024. 03. 21.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

HETAL은 CKKS를 사용한 전이 학습용 실용적 암호화 학습을 제공하여 비암호화 정확도에 거의 근접하고 암호화 행렬 곱셈을 크게 가속하며 넓은 도메인 소프트맥스 근사를 통해 여러 벤치마크를 한 시간 이내에 학습 가능하도록 한다.

ABSTRACT

Transfer learning is a de facto standard method for efficiently training machine learning models for data-scarce problems by adding and fine-tuning new classification layers to a model pre-trained on large datasets. Although numerous previous studies proposed to use homomorphic encryption to resolve the data privacy issue in transfer learning in the machine learning as a service setting, most of them only focused on encrypted inference. In this study, we present HETAL, an efficient Homomorphic Encryption based Transfer Learning algorithm, that protects the client's privacy in training tasks by encrypting the client data using the CKKS homomorphic encryption scheme. HETAL is the first practical scheme that strictly provides encrypted training, adopting validation-based early stopping and achieving the accuracy of nonencrypted training. We propose an efficient encrypted matrix multiplication algorithm, which is 1.8 to 323 times faster than prior methods, and a highly precise softmax approximation algorithm with increased coverage. The experimental results for five well-known benchmark datasets show total training times of 567-3442 seconds, which is less than an hour.

연구 동기 및 목표

• 서버 측에서 암호화된 학습을 수행하여 전이 학습에서 고객 프라이버시를 보호한다.
• CKKS 동형암호를 활용하여 암호화된 데이터에서의 학습을 가능하게 한다.
• 연산량 감소를 위한 효율적인 암호화 행렬 곱셈과 소프트맥스 근사를 개발하고 평가한다.
• 표준 벤치마크에서 암호화된 학습이 비암호화 정확도에 맞먹을 수 있음을 입증한다.

제안 방법

• 서버 측 전이 학습 전에 CKKS 기반 동형암호로 클라이언트 특징을 암호화한다.
• 평문 데이터를 노출하지 않으면서 훈련을 조절하기 위해 검증 기반 조기 중지를 적용한다.
• AB^T 및 A^T B 계산을 가속화하기 위한 DiagABT 및 DiagATB 암호화 행렬 곱셈 알고리즘을 제안한다.
• 다수의 에포크에 걸친 학습을 가능하게 하는 도메인 확장을 갖춘 광역 도메인 소프트맥스 근사(ASoftmax)를 도입한다.
• 소프트맥스 근사에 대한 이론적 오차 한계를 제공한다.
• 사전 학습된 특징 추출기(ViT, MPNet)를 사용한 다섯 벤치마크에서 평가하고 학습 시간과 정확도를 보고한다.

Figure 1: Our privacy-preserving transfer learning protocol ( HETAL )

실험 결과

연구 질문

• RQ1 CKKS를 활용한 암호화 전이 학습이 평문 학습에 비해 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 동형암호 하에서 암호화된 행렬 곱셈을 어떻게 최적화하여 훈련 시간을 대폭 줄일 수 있는가?
• RQ3 확대된 도메인을 갖는 소프트맥스 근사가 큰 정확도 손실 없이 긴 학습 실행을 지원할 수 있는가?
• RQ4 다양한 데이터셋과 사전 학습 모델에서 HETAL의 실제 런타임과 정확도 트레이드오프는 어떠한가?

주요 결과

• 암호화 학습은 테스트 데이터셋에서 평문에 비해 최대 0.5%의 정확도 손실을 달성한다.
• 다섯 벤치마크에서 총 학습 시간은 567초에서 3442초 사이(한 시간 미만)이다.
• 암호화로 인한 정확도 감소는 일부 데이터셋에서 최대 0.51%(MNIST)이고, 일부는 0.00%(얼굴 마스크 탐지)이다.
• 행렬 곱셈 최적화(DiagABT/DiagATB)는 기존 방법 대비 1.8배에서 323배의 속도 향상을 달성한다.
• ASoftmax는 [-128,128] 구간에서 높은 정밀도의 소프트맥스 근사를 제공하여 큰 오차 없이 광범위한 학습을 가능하게 한다.
• 훈련 효율성은 GPU 기반 CKKS 가속과 도메인 확장 기반 최적화 소프트맥스에 의해 향상된다.

Figure 2: Demonstration of DiagABT algorithm when $A\in\mathbb{R}^{8\times 8}$ and $B\in\mathbb{R}^{4\times 8}$ . We do not include the complexification optimization in the figure for simplicity.