[論文レビュー] FedML-HE: An Efficient Homomorphic-Encryption-Based Privacy-Preserving Federated Learning System

Weizhao Jin, Yuhang Yao+3 more|arXiv (Cornell University)|Mar 20, 2023

Privacy-Preserving Technologies in Data被引用数 35

ひとこと要約

FedML-HEは選択的パラメータ暗号化を導入し、HEベースのプライバシー保護型連合学習を効率化し、大規模モデルに対しても高いプライバシー保護を維持しつつ、大幅なオーバーヘッド削減を実現します。

ABSTRACT

Federated Learning trains machine learning models on distributed devices by aggregating local model updates instead of local data. However, privacy concerns arise as the aggregated local models on the server may reveal sensitive personal information by inversion attacks. Privacy-preserving methods, such as homomorphic encryption (HE), then become necessary for FL training. Despite HE's privacy advantages, its applications suffer from impractical overheads, especially for foundation models. In this paper, we present FedML-HE, the first practical federated learning system with efficient HE-based secure model aggregation. FedML-HE proposes to selectively encrypt sensitive parameters, significantly reducing both computation and communication overheads during training while providing customizable privacy preservation. Our optimized system demonstrates considerable overhead reduction, particularly for large foundation models (e.g., ~10x reduction for ResNet-50, and up to ~40x reduction for BERT), demonstrating the potential for scalable HE-based FL deployment.

研究の動機と目的

• 平文のモデル更新がデータ漏洩につながる標準的なFLにおけるプライバシー懸念を動機づける。
• 計算・通信オーバーヘッドを削減するための選択的暗号化を備えた効率的なHEベースのFLシステムを提案する。
• 実用的でスケーラブルな方法で安全なアグリゲーションと基盤モデルのトレーニングを実現する。

提案手法

• 最もプライバシー感受性の高いモデルパラメータのみを暗号化する選択的パラメータ暗号化を提案する。
• 暗号化鍵合意、暗号化マスク計算、暗号化連合学習の3段階のFedML-HEワークフローを用いる。
• オプションの閾値変種と暗号化選択を導くプライバシーマップを用いた1鍵HE設定を採用する。
• 暗号化マスクMを用いた部分的に暗号化されたグローバルモデルを介してサーバーでカ ciphertextを集約する。
• 暗号化下でのゼロ-DPプライバシーと部分的暗号化に対するDP風保証を示す理論的プライバシー解析を提供する。
• CIFAR-100と語学モデルの逆向き攻撃を用いた評価で、LeNet、ResNet-50、BERTなどのモデルに対するオーバーヘッドと防御性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 選択的パラメータ暗号化は、プライバシーを損なうことなく連合学習におけるHEオーバーヘッドをどのように削減できるか？
• RQ2 パラメータの一部のみを暗号化した場合、プライバシー保証と通信/計算コストのトレードオフはどうなるか？
• RQ3 大規模モデルに対する最先端のMLプライバシー攻撃に対するオーバーヘッドとプライバシーの観点で、FedML-HEはどのように性能を示すか？
• RQ4 提案されたフレームワークはHEを用いた効率的な基盤モデルの連合トレーニングをサポートできるか？

主な発見

• 選択的パラメータ暗号化はHEオーバーヘッドを削減する。パラメータの10%を暗号化するだけで、中規模〜大規模モデルにおいて平文の集約に近いオーバーヘッドとなる。
• FedML-HEはNaiveなHEベースのFLと比較してResNet-50で最大約10倍、BERTで最大約40倍のオーバーヘッド削減を実現。
• 暗号化マスクMは、局所感度マップから導かれたグローバルプライバシーマップから計算され、ターゲットを絞った暗号化を可能にする。
• 実験はCV（LeNet/CIFAR-100）およびNLP（BERT）タスクに対する勾配反転攻撃に対するロバスト性を示す。
• このフレームワークは、安全な鍵管理、暗号化FLのデプロイ、およびモジュラーなソフトウェアスタック内での最適化されたHE統合をサポートします。