[論文レビュー] A Hybrid Approach to Privacy-Preserving Federated Learning

Stacey Truex, Nathalie Baracaldo+5 more|arXiv (Cornell University)|Dec 7, 2018

Privacy-Preserving Technologies in Data参考文献 40被引用数 70

ひとこと要約

この論文は、 tunable trust threshold を備えた差分プライバシーとセキュアマルチパーティ計算を組み合わせたフェデレーテッドラーニングシステムを提案し、複数モデルタイプに対してローカルDPより高い精度を達成しつつ正式なプライバシー保証を提供する。

ABSTRACT

Federated learning facilitates the collaborative training of models without the sharing of raw data. However, recent attacks demonstrate that simply maintaining data locality during training processes does not provide sufficient privacy guarantees. Rather, we need a federated learning system capable of preventing inference over both the messages exchanged during training and the final trained model while ensuring the resulting model also has acceptable predictive accuracy. Existing federated learning approaches either use secure multiparty computation (SMC) which is vulnerable to inference or differential privacy which can lead to low accuracy given a large number of parties with relatively small amounts of data each. In this paper, we present an alternative approach that utilizes both differential privacy and SMC to balance these trade-offs. Combining differential privacy with secure multiparty computation enables us to reduce the growth of noise injection as the number of parties increases without sacrificing privacy while maintaining a pre-defined rate of trust. Our system is therefore a scalable approach that protects against inference threats and produces models with high accuracy. Additionally, our system can be used to train a variety of machine learning models, which we validate with experimental results on 3 different machine learning algorithms. Our experiments demonstrate that our approach out-performs state of the art solutions.

研究の動機と目的

• プライバシーや法的制約によりデータ共有が制限されるフェデレーテッドラーニングのシナリオを動機づける。
• モデルの精度を維持しつつ正式なプライバシー保証を提供する。
• プライバシー保護されたフェデレーテッド設定の下で複数のMLモデルをサポートするスケーラブルなシステムを開発する。
• 参加者間の共謀や信頼のばらつきを扱う調整可能な信頼パラメータを導入する。

提案手法

• しきい値Paillier暗号方式を用いた差分プライバシーとセキュアマルチパーティ計算の統合。
• アグリゲータがノイズ付きの暗号化応答を収集し、非協調的なパーティの閾値でのみ集計を復号できるようにする。
• SMCと信頼パラメータ t を活用してDPのノイズを削減し、暗号化を介してノイズを調整する。
• プライバシー制約の下で多様なモデル（決定木、CNN、リニアSVM）のエンドツーエンドトレーニングをサポートする。
• プライベートフェデレーテッドラーニングの手順を概説するエンドツーエンドアルゴリズム（Algorithm 1）を提供する。

実験結果

リサーチクエスチョン

• RQ1 差分プライバシーとセキュアマルチパーティ計算を組み合わせることで、精度を犠牲にせずにフェデレーテッドラーニングに正式なプライバシー保証を提供できるか？
• RQ2 提案されたシステムにおける信頼パラメータ t がノイズレベル、精度、共謀耐性に与える影響はどのようか？
• RQ3 プライバシー保護フェデレーテッド設定において、決定木、CNN、SVM などの異なるモデル系に対してこのアプローチは効果的か？
• RQ4 パーティ数の増加と暗号化オーバーヘッドに対して、システムのスケーラビリティはどうなるか？

主な発見

• ハイブリッド DP+SMC アプローチは、正式なプライバシー保証を維持しつつローカル DP より高い精度をもたらす。
• 閾値Paillier暗号を活用することでノイズを削減し、信頼パラメータによって共謀リスクが軽減されると精度が向上する。
• 決定木、畳み込みニューラルネットワーク、線形SVMの3つの異なるモデルタイプで方法を実証。
• 実験は、複数のパーティに対してスケールすることを示しており、パーティ数が増加しても暗号化オーバーヘッドは比較的安定したまま。
• 報告されたタスクで、最先端のプライバシー保護FLベースラインを上回る。