[论文解读] HETAL: Efficient Privacy-preserving Transfer Learning with Homomorphic Encryption

Seewoo Lee, Garam Lee+3 more|arXiv (Cornell University)|Mar 21, 2024

Privacy-Preserving Technologies in Data被引用 8

一句话总结

HETAL 提供基于 CKKS 的实际加密训练用于迁移学习，在接近未加密的准确度的同时显著加速加密矩阵乘法，并且提供广域 softmax 近似，使在一个小时内可对多个基准进行训练。

ABSTRACT

Transfer learning is a de facto standard method for efficiently training machine learning models for data-scarce problems by adding and fine-tuning new classification layers to a model pre-trained on large datasets. Although numerous previous studies proposed to use homomorphic encryption to resolve the data privacy issue in transfer learning in the machine learning as a service setting, most of them only focused on encrypted inference. In this study, we present HETAL, an efficient Homomorphic Encryption based Transfer Learning algorithm, that protects the client's privacy in training tasks by encrypting the client data using the CKKS homomorphic encryption scheme. HETAL is the first practical scheme that strictly provides encrypted training, adopting validation-based early stopping and achieving the accuracy of nonencrypted training. We propose an efficient encrypted matrix multiplication algorithm, which is 1.8 to 323 times faster than prior methods, and a highly precise softmax approximation algorithm with increased coverage. The experimental results for five well-known benchmark datasets show total training times of 567-3442 seconds, which is less than an hour.

研究动机与目标

• 通过在服务器端执行加密训练来解决迁移学习中的客户隐私问题。
• 利用 CKKS 同态加密实现对加密数据的训练。
• 开发并评估高效的加密矩阵乘法和 softmax 近似以降低计算量。
• 证明在标准基准上，经过加密的训练可达到与未加密相当的准确性。

提出的方法

• 使用基于 CKKS 的同态加密在服务器端迁移学习前对客户端特征进行加密。
• 应用基于验证的早停以在不暴露明文数据的情况下调控训练。
• 提出 DiagABT 与 DiagATB 的加密矩阵乘法算法，以加速 AB^T 和 A^T B 计算。
• 引入广域 softmax 近似（ASoftmax）并进行领域扩展，以实现多轮训练。
• 给出 softmax 近似的理论误差边界。
• 在五个基准上对预训练特征提取器（ViT、MPNet）进行评估，并报告训练时间和准确性。

Figure 1: Our privacy-preserving transfer learning protocol ( HETAL )

实验结果

研究问题

• RQ1 使用 CKKS 的加密迁移学习能否在准确性上与明文训练竞争？
• RQ2 如何对加密矩阵乘法进行优化，以在同态加密下显著降低训练时间？
• RQ3 是否可通过扩展域的 softmax 近似支持长时间训练而不显著损失准确性？
• RQ4 HETAL 在不同数据集与预训练模型上的实际运行时和准确性权衡如何？

主要发现

• 加密训练在测试数据集上相对于明文的最大准确率损失为 0.5%。
• 五个基准的总训练时间在 567 到 3442 秒之间（不到一小时）。
• 某些数据集的加密后准确率损失最大为 0.51%（MNIST），最低为 0.00%（Face Mask Detection）。
• 矩阵乘法优化（DiagABT/DiagATB）比以往方法提升 1.8 到 323 倍的加速。
• ASoftmax 在 [-128,128] 范围内提供高精度的 softmax 近似，支持广泛训练而不产生显著误差。
• 训练效率受益于 GPU 加速的 CKKS 与基于域扩展的 softmax 的优化。

Figure 2: Demonstration of DiagABT algorithm when $A\in\mathbb{R}^{8\times 8}$ and $B\in\mathbb{R}^{4\times 8}$ . We do not include the complexification optimization in the figure for simplicity.