[論文レビュー] An Efficient and Multi-private Key Secure Aggregation for Federated Learning

Xue Yang, Zifeng Liu+3 more|arXiv (Cornell University)|Jun 15, 2023

Privacy-Preserving Technologies in DataComputer Science被引用数 3

ひとこと要約

この論文は、信頼できる第三者を必要とせず、クライアントが自ら公開鍵と秘密鍵を独立して選択できる、新規で効率的かつマルチプライベート鍵セキュアアグリゲーション方式を提案する。変種ElGamal暗号の変更と、超増加列を用いた高次元モデルパラメータの圧縮により、個々の勾配と集約結果の両方に対して意味的セキュリティを達成し、クライアントの共謀や欠落クライアントに対しても強く耐性を持つ。既存の同型暗号ベースの手法と比較して、計算および通信効率が顕著に向上する。

ABSTRACT

With the emergence of privacy leaks in federated learning, secure aggregation protocols that mainly adopt either homomorphic encryption or threshold secret sharing have been widely developed for federated learning to protect the privacy of the local training data of each client. However, these existing protocols suffer from many shortcomings, such as the dependence on a trusted third party, the vulnerability to clients being corrupted, low efficiency, the trade-off between security and fault tolerance, etc. To solve these disadvantages, we propose an efficient and multi-private key secure aggregation scheme for federated learning. Specifically, we skillfully modify the variant ElGamal encryption technique to achieve homomorphic addition operation, which has two important advantages: 1) The server and each client can freely select public and private keys without introducing a trust third party and 2) Compared to the variant ElGamal encryption, the plaintext space is relatively large, which is more suitable for the deep model. Besides, for the high dimensional deep model parameter, we introduce a super-increasing sequence to compress multi-dimensional data into 1-D, which can greatly reduce encryption and decryption times as well as communication for ciphertext transmission. Detailed security analyses show that our proposed scheme achieves the semantic security of both individual local gradients and the aggregated result while achieving optimal robustness in tolerating both client collusion and dropped clients. Extensive simulations demonstrate that the accuracy of our scheme is almost the same as the non-private approach, while the efficiency of our scheme is much better than the state-of-the-art homomorphic encryption-based secure aggregation schemes. More importantly, the efficiency advantages of our scheme will become increasingly prominent as the number of model parameters increases.

研究の動機と目的

• 既存のフェデレーテッドラーニングにおけるセキュアアグリゲーションプロトコルの限界、すなわち信頼できる第三者への依存、クライアントの侵害に対する脆弱性、および高い計算および通信オーバーヘッドを解消すること。
• 鍵生成において信頼できる第三者を排除しつつ、個々の勾配と集約結果の両方に対して強固なセキュリティ保証を維持すること。
• 超増加列を用いた次元圧縮により、暗号化/復号化処理と暗号文送信の回数を削減することで、ディープラーニングモデルの効率を向上させること。
• 故障耐性やセキュリティを損なわず、クライアントの共謀および欠落クライアントに対して最適な耐性を達成すること。
• 送信データへの不正アクセスを防ぐことで、集約結果のプライバシーを保証すること。これは個々の勾配のプライバシーのみを保護するのではなく、集約結果そのものも保護する。

提案手法

• 変種ElGamal暗号を変更し、独立して選択された公開鍵と秘密鍵の下で加法的同型演算をサポートする。これにより、信頼できる第三者が不要なセキュアアグリゲーションが可能になる。
• 各クライアントは自らの公開鍵と秘密鍵ペアを用いてローカル勾配を暗号化し、1つのクライアントが侵害されてもシステム全体が破壊されないことを保証する。
• 多変量モデルパラメータを1次元ベクトルに圧縮するために超増加列を適用し、暗号化・復号化処理の回数を削減し、暗号文送信量を最小限に抑える。
• プロトコルは、サーバーのみが集約結果を復号可能であり、個々の勾配は意味的セキュリティを維持することを保証する。
• マルチプライベート鍵環境下での同型性を維持するため、安全なインタラクティブプロトコルを慎重に設計することでセキュリティを達成する。
• 故障耐性が最適化されており、n−t 個までのクライアントの欠落または共謀が許容可能である（t は再構築の閾値）。

実験結果

リサーチクエスチョン

• RQ1 鍵生成に信頼できる第三者を必要としないフェデレーテッドラーニング用のセキュアアグリゲーション方式を設計できるか？
• RQ2 クライアントが独立して選択した公開鍵と秘密鍵の下で、同型暗号が加法的演算をどのようにサポートできるか？
• RQ3 高次元モデルパラメータを効果的に圧縮し、暗号化・復号化および通信オーバーヘッドを削減する技術は何か？
• RQ4 クライアントの共謀および欠落クライアントの状況下でも、個々の勾配と集約結果の両方に対して意味的セキュリティを維持できるか？
• RQ5 特にモデルサイズが増加する際、既存の同型暗号ベースのセキュアアグリゲーションプロトコルよりも高い効率性を達成できるか？

主な発見

• 提案手法は、クライアントの共謀や欠落クライアントの状況下でも、個々のローカル勾配と集約結果の両方に対して意味的セキュリティを達成する。
• 信頼できる第三者の必要性が排除され、システムのセキュリティと分散性が向上する。
• 変更されたElGamal暗号のバリエーションを用いることで、平文空間が大幅に拡大され、大規模なパrameter次元を持つディープラーニングモデルに適している。
• 超増加列の使用により、暗号化・復号化処理の回数が削減され、暗号文送信量が最小限に抑えられ、顕著な効率向上が達成される。
• 性能評価では、計算および通信効率が最先端の同型暗号ベースの手法を上回り、モデルサイズが大きくなるほどその優位性が顕著になる。
• 提案手法の精度は、非プライベートなフェデレーテッドラーニングとほぼ同一であり、モデル性能への影響が最小限であることが確認された。