[論文レビュー] HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning

Runhua Xu, Nathalie Baracaldo+3 more|arXiv (Cornell University)|Dec 12, 2019

Privacy-Preserving Technologies in Data参考文献 41被引用数 40

ひとこと要約

HybridAlpha は多入力機能暗号化ベースの SM C を連合学習で用い、訓練時間と通信を減らしつつ、ダイナミックな参加者参加にも関わらずモデル性能とプライバシーを維持する。

ABSTRACT

Federated learning has emerged as a promising approach for collaborative and privacy-preserving learning. Participants in a federated learning process cooperatively train a model by exchanging model parameters instead of the actual training data, which they might want to keep private. However, parameter interaction and the resulting model still might disclose information about the training data used. To address these privacy concerns, several approaches have been proposed based on differential privacy and secure multiparty computation (SMC), among others. They often result in large communication overhead and slow training time. In this paper, we propose HybridAlpha, an approach for privacy-preserving federated learning employing an SMC protocol based on functional encryption. This protocol is simple, efficient and resilient to participants dropping out. We evaluate our approach regarding the training time and data volume exchanged using a federated learning process to train a CNN on the MNIST data set. Evaluation against existing crypto-based SMC solutions shows that HybridAlpha can reduce the training time by 68% and data transfer volume by 92% on average while providing the same model performance and privacy guarantees as the existing solutions.

研究の動機と目的

• プライバシー保護型連合学習を動機づけ、モデル更新時のデータ漏洩を抑制する。
• 既存の暗号ベースのSM C手法と比較して、通信オーバーヘッドと訓練時間を削減する。
• 再鍵更新なしに、ドロップアウトや新規参加を含む動的な参加者参加をサポートする。
• 善意だが好奇心旺盛な集約者および協調する参加者に対して強力なプライバシー保証を提供する。
• MNISTのCNNへの適用性を示し、基線SMC手法と比較する。

提案手法

• FL における安全な集約を実行するために、多入力機能暗号化 (MIFE) スキームを採用する。
• 鍵を初期化し、各参加者の公開鍵を配布するために、信頼された第三者機関 (TPA) を利用する。
• MIFEベースの集約と差分プライバシー機構を統合する。
• 個々の更新を露出しうる鍵・攻撃ベクトルを制限する推論防止モジュールを導入する。
• 重み付き集約ベクトルを調整することにより、完全な再鍵更新なしで動的な参加者参加を可能にする。
• 既存のSMC手法と比較した分析とベンチマークを提供し、効率向上を定量化する。

実験結果

リサーチクエスチョン

• RQ1 HybridAlpha は、既存の SMC ベースの FL アプローチよりも少ない暗号ラウンドでプライバシー保護型集約を達成できるか？
• RQ2 機能暗号化ベースの手法は、TP-SMC および P-SMC のベースラインと比較して訓練時間、通信コスト、およびモデル精度にどのように影響するか？
• RQ3 HybridAlpha は訓練中のドロップアウトと参加者の追加を頑健に扱えるか？
• RQ4 定義された脅威モデル（善意だが好奇心旺盛な集約者、協調する参加者、信頼された TPA）の下でのセキュリティ/プライバシー保証は何か？

主な発見

• 訓練時間は既存の暗号ベースSMCソリューションと比較して平均で 68% 削減される。
• データ転送量は平均で 92% 削減される。
• HybridAlpha は既存アプローチと同様のモデル性能とプライバシー保証を達成する。
• このフレームワークは、再鍵更新なしにドロップアウトと再参加を伴う動的な参加をサポートする。
• 推論防止モジュールは、好奇心的な集約者と協調する参加者による推論攻撃を緩和する。
• CNNを用いた MNIST での評価は、効率向上と堅牢なプライバシー保護を示す。