[論文レビュー] Privacy-preserving Weighted Federated Learning within Oracle-Aided MPC Framework

Huafei Zhu, Zengxiang Li+2 more|arXiv (Cornell University)|Mar 17, 2020

Cryptography and Data Security参考文献 20被引用数 7

ひとこと要約

本稿では、オラクル支援型マルチパーティ計算（MPC）モデルを用いた、プライバシー保護型の重み付きフェデレーテッドラーニング（wFL）フレームワークを提案する。クライアントのデータ重みとモデル更新が暗号化され、暗号空間内で処理される。この解決策は、秘密分散と安全なMPCプロトコル（特にShareMind）を活用し、重み付きモデル更新の効率的かつプライバシー保護型の集約を可能にする。安全性は、基礎となる乗算プロトコルが安全である限り、誠実だが好奇心の強い敵モデルのもとで証明される。

ABSTRACT

This paper studies privacy-preserving weighted federated learning within the oracle-aided multi-party computation (MPC) framework. The contribution of this paper mainly comprises the following three-fold: In the first fold, a new notion which we call weighted federated learning (wFL) is introduced and formalized inspired by McMahan et al.'s seminal paper. The weighted federated learning concept formalized in this paper differs from that presented in McMahan et al.'s paper since both addition and multiplication operations are executed over ciphers in our model while these operations are executed over plaintexts in McMahan et al.'s model. In the second fold, an oracle-aided MPC solution for computing weighted federated learning is formalized by decoupling the security of federated learning systems from that of underlying multi-party computations. Our decoupling formulation may benefit machine learning developers to select their best security practices from the state-of-the-art security tool sets; In the third fold, a concrete solution to the weighted federated learning problem is presented and analysed. The security of our implementation is guaranteed by the security composition theorem assuming that the underlying multiplication algorithm is secure against honest-but-curious adversaries.

研究の動機と目的

• モデル重みと更新が平文ではなく暗号空間内で処理される、重み付きフェデレーテッドラーニング（wFL）の新しい定式化を目的とする。これは、従来のFLが平文で動作するのとは異なる。
• wFLのセキュリティを基礎となるMPCプロトコルから分離し、機械学習開発者が最新のMPCツールをモジュラーに選択できるようにすることを目的とする。
• ShareMind MPCフレームワークと秘密分散技術を用いた、具体的かつ効率的なwFLの実装を提示・分析することを目的とする。
• 基礎となる乗算プロトコルが安全であるものと仮定して、提案されたwFLプロトコルが誠実だが好奇心の強い敵モデルのもとで安全であることを証明することを目的とする。

提案手法

• 3パーティ秘密分散（シェーマーの方式）を用いて、暗号化された重みとモデル更新を3つのサーバーに分散配布し、1つのパーティが全値を学習しないようにする。
• ビーバーの三重項に基づくMPC技術を用いて、シェア上で加算および乗算演算を実行し、入力を露呈せずに重み付き平均の計算を安全に実現する。
• wFLの機能を安全な乗算オラクルに還元することで、既存のMPCツールキット（例：ShareMind）とのモジュラー統合を可能にする。
• システムは暗号空間内でモデル更新の重み付き和 $[n_1][w_1] + \cdots + [n_K][w_K]$ を計算し、その後合計サンプル数 $n$ による復号と正規化を実行する。
• シミュレーションに基づく証明を用いて、セミ悪意的モデルにおける安全性を達成する。この際、シミュレータは基礎となるMPCプロトコルのシミュレータを用いて各パーティの視認を模倣する。
• 実装は、各パーティが入力のシェアを保持する3サーバーアーキテクチャを採用し、すべての演算が入力のプライバシーを保持する形で実行される。

実験結果

リサーチクエスチョン

• RQ1 重み付きフェデレーテッドラーニングをどのように定式化すれば、クライアントのデータ重みとモデル更新が両方とも暗号空間内で保護されるようになるか？
• RQ2 wFLプロトコルのセキュリティを基礎となるMPCプロトコルから分離することで、最新のMPCツールキットへの柔軟な統合が可能になるか？
• RQ3 機密性の高いクライアントデータを露呈せずに、フェデレーテッドラーニングにおける重み付きモデル集約を安全かつ効率的に実現するMPCベースの解決策は何か？
• RQ4 提案されたwFLプロトコルはどのような脅威モデルのもとで安全であり、そのセキュリティはどのように形式的に証明できるか？

主な発見

• 本稿では、重み $n_k$ とモデル更新 $w_{t+1}^k$ が両方とも暗号空間内で処理される、新しいwFLモデルを定式化した。これは、従来の平文ベースのフェデレーテッドアベレージとは異なる。
• 提案された解決策により、wFLのセキュリティが基礎となるMPCプロトコルから分離され、開発者はShareMindに実装されたような任意の安全なMPC原始演算子（乗算）を組み込むことができる。
• 秘密分散とビーバー三重項に基づく乗算を用いた実装により、効率的な計算が達成され、複数クライアントへのスケーラビリティも確保されている。
• 形式的セキュリティ証明により、入力の乗算プロトコルが安全である限り、プロトコルが誠実だが好奇心の強い敵に対して安全であることが示された。
• プロトコルは暗号空間内で重み付き平均 $\sum_{k=1}^K \frac{n_k}{n} w_{t+1}^k$ を正しく計算し、中間値を露呈せずに結果を復号する。