[論文レビュー] HETAL: Efficient Privacy-preserving Transfer Learning with Homomorphic Encryption

Seewoo Lee, Garam Lee+3 more|arXiv (Cornell University)|Mar 21, 2024

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

HETAL は CKKS を用いた転移学習の実用的な秘密計算付きトレーニングを提供し、ほぼ非暗号化の精度を達成しつつ、暗号化行列乗算を大幅に高速化し、広域ドメインのソフトマックス近似を可能にし、1時間以内に複数のベンチマークで学習を可能にする。

ABSTRACT

Transfer learning is a de facto standard method for efficiently training machine learning models for data-scarce problems by adding and fine-tuning new classification layers to a model pre-trained on large datasets. Although numerous previous studies proposed to use homomorphic encryption to resolve the data privacy issue in transfer learning in the machine learning as a service setting, most of them only focused on encrypted inference. In this study, we present HETAL, an efficient Homomorphic Encryption based Transfer Learning algorithm, that protects the client's privacy in training tasks by encrypting the client data using the CKKS homomorphic encryption scheme. HETAL is the first practical scheme that strictly provides encrypted training, adopting validation-based early stopping and achieving the accuracy of nonencrypted training. We propose an efficient encrypted matrix multiplication algorithm, which is 1.8 to 323 times faster than prior methods, and a highly precise softmax approximation algorithm with increased coverage. The experimental results for five well-known benchmark datasets show total training times of 567-3442 seconds, which is less than an hour.

研究の動機と目的

• サーバーサイドで暗号化トレーニングを実行することにより、転移学習におけるクライアントのプライバシーを保護する。
• CKKS同型暗号を活用して、暗号化データ上での学習を可能にする。
• 計算量を削減するための効率的な暗号化行列乗算とソフトマックス近似を開発・評価する。
• 標準ベンチマークで暗号化トレーニングが非暗号化と同等の精度に匹敵できることを示す。

提案手法

• サーバーサイドの転移学習の前にクライアント特徴を CKKS ベースの同型暗号で暗号化する。
• 平文データを露出せずにトレーニングを制御するために検証ベースの早期終了を適用する。
• AB^T および A^T B の計算を高速化する DiagABT および DiagATB 暗号化行列乗算アルゴリズムを提案する。
• 多エポックのトレーニングを可能にするため、ドメイン拡張を伴う広域ソフトマックス近似（ASoftmax）を導入する。
• ソフトマックス近似の理論的誤差境界を提供する。
• 事前学習済み特徴抽出器（ViT、MPNet）を用いた5つのベンチマークで評価し、トレーニング時間と精度を報告する。

Figure 1: Our privacy-preserving transfer learning protocol ( HETAL )

実験結果

リサーチクエスチョン

• RQ1 CKKSを用いた暗号化転移学習は、平文トレーニングと同程度の精度を達成できるか。
• RQ2 同型暗号下で計算時間を劇的に削減するように、暗号化された行列乗算を最適化する方法は？
• RQ3 拡張ドメインを持つソフトマックス近似は、長時間のトレーニングを大きな精度損失なしに支援できるか？
• RQ4 多様なデータセットと事前学習モデルに対するHETALの実用的な実行時間と精度のトレードオフは何ですか？

主な発見

• 暗号化トレーニングは、テストデータセットで平文に対する最大0.5%の精度低下を達成する。
• 総トレーニング時間は、5つのベンチマークで567〜3442秒（1時間未満）に及ぶ。
• 暗号化による精度低下は、MNISTで最大0.51%、特定のデータセットではFace Mask Detectionで0.00%まで低い。
• 行列乗算最適化（DiagABT/DiagATB）は、従来手法に対して1.8〜323倍の高速化を達成する。
• ASoftmaxは[-128,128]上で高精度なソフトマックス近似を提供し、重大な誤差なしに大規模トレーニングを可能にする。
• GPU加速CKKSと最適化されたドメイン拡張ベースのソフトマックスにより学習効率が向上する。

Figure 2: Demonstration of DiagABT algorithm when $A\in\mathbb{R}^{8\times 8}$ and $B\in\mathbb{R}^{4\times 8}$ . We do not include the complexification optimization in the figure for simplicity.