[論文レビュー] Federated Learning with Differential Privacy: Algorithms and Performance Analysis

Kang Wei, Jun Li+7 more|arXiv (Cornell University)|Nov 1, 2019

Privacy-Preserving Technologies in Data参考文献 35被引用数 88

ひとこと要約

NbAFL を提案する、集約前にノイズを加える差分プライバシーベースの連合学習フレームワークで、収束の理論的境界と K-random scheduling variant を提供する。

ABSTRACT

In this paper, to effectively prevent information leakage, we propose a novel framework based on the concept of differential privacy (DP), in which artificial noises are added to the parameters at the clients side before aggregating, namely, noising before model aggregation FL (NbAFL). First, we prove that the NbAFL can satisfy DP under distinct protection levels by properly adapting different variances of artificial noises. Then we develop a theoretical convergence bound of the loss function of the trained FL model in the NbAFL. Specifically, the theoretical bound reveals the following three key properties: 1) There is a tradeoff between the convergence performance and privacy protection levels, i.e., a better convergence performance leads to a lower protection level; 2) Given a fixed privacy protection level, increasing the number $N$ of overall clients participating in FL can improve the convergence performance; 3) There is an optimal number of maximum aggregation times (communication rounds) in terms of convergence performance for a given protection level. Furthermore, we propose a $K$-random scheduling strategy, where $K$ ($1

研究の動機と目的

• 個人情報の漏洩を防ぐためのプライバシー保護されたフェデレーテッドラーニングを動機づける。
• Gaussian noise をクライアントとサーバーに追加して DP を満たす NbAFL の導入。
• DP の下で NbAFL の理論的収束境界を導出し、プライバシー-有用性のトレードオフと最適な集約パラメータを明らかにする。
• K-random スケジューリングを提案し、その収束性とプライバシーへの影響を分析。
• 設定可能なプライバシー-有用性トレードオフを備えたプライバシー保護 FL アルゴリズム設計の指針を提供。

提案手法

• クライアントがローカルアップデートをクリップしGaussianノイズを付加してアップロードし、サーバーは集約されたグローバルモデルにノイズを加えてブロードキャストする NbAFL を定式化。
• 適切なノイズスケールを選択した Gaussian メカニズムの下で NbAFL が (ε,δ)-DP を満たすことを証明。
• NbAFL の収束境界を導出し、収束性能とプライバシーレベル ε、クライアント数 N、集約ラウンド数 T のトレードオフを示す。
• K 個のクライアントが各集約に参加する K-random スケジューリングを拡張し、対応する DP 保証と収束境界を導出。
• アップリンク・ダウンリンクチャネルのノイズスケールの閉形式表現と DP が維持される条件を提供。

実験結果

リサーチクエスチョン

• RQ1 NbAFL でノイズ前の集約を取り入れつつ、モデルの有用性を保つにはどうすればよいか。
• RQ2 DP の下で NbAFL の収束特性はどうなるか、プライバシーレベル、クライアント数、集約ラウンドはどう相互作用するか。
• RQ3 K-random スケジューリングが DP 保証と収束性能に与える影響は、全クライアント集約と比べてどうか。
• RQ4 プライバシー保護と収束精度のバランスをとる最適設定（例: 集約ラウンド, K）は何か。

主な発見

• NbAFL はクライアント側とサーバー側のガウスノイズ分散を適切に適用することで (ε,δ)-DP を満たすことができる。
• 理論的な収束境界はトレードオフを示す：より良い収束はより低いプライバシー保護（より大きな ε）に対応する。
• 固定のプライバシーレベルで参加クライアント数 N を増やすと収束が改善する。
• 与えられたプライバシーレベルと N に対して最適な最大集約ラウンド数 T が存在する。
• K-random スケジューリングでは対応する DP 保証と収束境界が成り立ち、固定のプライバシーレベルで最適な K が存在して最良の収束をもたらす。
• シミュレーションは理論境界を検証し、DP主導の設計と整合性を示す。