[論文レビュー] Computation-efficient Deep Model Training for Ciphertext-based Cross-silo Federated Learning

Xue Yang, Yan Feng+5 more|arXiv (Cornell University)|Feb 23, 2020

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、非線形活性化関数と小数演算をサポートする、ワンタイムパッド風の暗号化手法を採用した、暗号化モデルを用いた計算効率の良い深層学習フレームワークを提案する。この手法により、サーバーとクライントの両方のプライバシーを保証する秘密分散技術と組み合わせることで、9層のMNIST学習において非プライベートな精度と1時間未満のトレーニング速度を達成する。

ABSTRACT

Although cross-silo federated learning improves privacy of training data by exchanging model updates rather than raw data, sharing updates (e.g., local gradients or parameters) may still involve risks. To ensure no updates are revealed to the server, industrial FL schemes allow clients (e.g., financial or medical) to mask local gradients by homomorphic encryption (HE). In this case, the server cannot obtain the updates, but the curious clients can obtain this information to infer other clients' private data. To alleviate this situation, the most direct idea is to let clients train deep models on encrypted domain. Unfortunately, the resulting solution is of poor accuracy and high cost, since the existing advanced HE is incompatible with non-linear activation functions and inefficient in terms of computational cost. In this paper, we propose a \emph{computational-efficient deep model training scheme for ciphertext-based cross-silo federated learning} to comprehensively guarantee privacy. First, we customize \emph{a novel one-time-pad-style model encryption method} to directly supports non-linear activation functions and decimal arithmetic operations on the encrypted domain. Then, we design a hybrid privacy-preserving scheme by combining our model encryption method with secret sharing techniques to keep updates secret from the clients and prevent the server from obtaining local gradients of each client. Extensive experiments demonstrate that for both regression and classification tasks, our scheme achieves the same accuracy as non-private approaches and outperforms the state-of-the-art HE-based scheme. Besides, training time of our scheme is almost the same as non-private approaches and much more efficient than HE-based schemes. Our scheme trains a $9$-layer neural network on the MNIST dataset in less than one hour.

研究の動機と目的

• クライアントが共有されるモデル更新から他のクライアントのデータを推測する可能性がある、クロスシロフェデレーテッドラーニングにおけるプライバシー漏洩リスクに対処する。
• 同型暗号化が非線形活性化関数と深層学習における高い計算コストに不適合であるという課題を克服する。
• サーバーおよび参加クライアントの両方からモデル更新を保護する、安全で効率的かつ正確なトレーニング方式を設計する。
• 非プライベートトレーニングと同等の精度およびトレーニング時間の性能を達成しながら、エンドツーエンドのプライバシーを保証する。

提案手法

• 非線形活性化関数と小数演算をサポートする、暗号化モデル上で直接計算が可能な、新規のワンタイムパッド風のモデル暗号化手法を提案する。
• モデル暗号化を秘密分散技術と統合し、クライアントを含むいかなる単一の当事者も局所勾配を再構築できないようにする。
• 暗号化モデル更新をクライアント間で秘密分散により共有するハイブリッドプライバシー保護方式を設計し、サーバーが個々の勾配を学習できないようにする。
• 復号化を伴わず、クライアント間の暗号化モデル更新の安全な集約を可能にし、トレーニングプロセス全体でプライバシーを維持する。
• 暗号化と計算パイプラインを最適化し、非プライベートトレーニングに近い効率を達成する。
• 同型暗号化と秘密分散を組み合わせたハイブリッドアーキテクチャを採用し、セキュリティとパフォーマンスのバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 非線形活性化関数を暗号化モデル上で直接処理できる、パフォーマンス劣化のない安全な深層学習フレームワークを設計することは可能か？
• RQ2 クライアントがサーバーにモデル更新を共有しなければならない場合、クロスシロフェデレーテッドラーニングにおけるクライアント側のプライバシーはどのように保護されるか？
• RQ3 ハイブリッド暗号化と秘密分散方式は、従来のHEベースのアプローチと比較して、高い精度と低いトレーニングコストを達成できるか？
• RQ4 暗号化ベースのフェデレーテッドラーニングにおける、セキュリティ、精度、効率のトレードオフは何か？
• RQ5 エンドツーエンドのプライバシーを維持しながら、MNISTの9層ニューラルネットワークを1時間未満でトレーニングすることは可能か？

主な発見

• 提案手法は、回帰および分類タスクの両方で、非プライベートフェデレーテッドラーニングと同等のモデル精度を達成する。
• MNISTデータセットにおける9層ニューラルネットワークのトレーニング時間は1時間未塔であり、非プライベートトレーニングと同等の効率を示す。
• トレーニング速度の面で、最先端の同型暗号化ベースのアプローチを著しく上回る。
• 従来のHE方式の主な制限である、暗号化データ上で非線形活性化関数と小数演算を実現する手法として、本手法は成功を収めた。
• ハイブリッドプライバシー保護メカニズムにより、サーバーおよびクライアントの両方が個々のクライアントの局所勾配にアクセスできないようにする。
• いかなる当事者も、侵害された場合でも、機微なモデル更新を再構築できないことを保証する高水準のセキュリティを維持する。