[論文レビュー] Performance Analysis on Federated Learning with Differential Privacy

Kang Wei, Jun Li+7 more|arXiv (Cornell University)|Nov 1, 2019

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、クライアントのモデルパラメータにアーティファクトノイズを事前に追加することで差分プライバシーを確保する、プライバシーを強化したフェデレーテッドラーニングフレームワークであるNbAFLを提案する。理論的収束バウンドを確立し、プライバシーとパフォーマンスのトレードオフ、最適なクライアント参加レベル、最適な通信ラウンド数を明らかにし、シミュレーションで検証した。

ABSTRACT

In this paper, to effectively prevent information leakage, we propose a novel framework based on the concept of differential privacy (DP), in which artificial noises are added to the parameters at the clients side before aggregating, namely, noising before model aggregation FL (NbAFL). First, we prove that the NbAFL can satisfy DP under distinct protection levels by properly adapting different variances of artificial noises. Then we develop a theoretical convergence bound of the loss function of the trained FL model in the NbAFL. Specifically, the theoretical bound reveals the following three key properties: 1) There is a tradeoff between the convergence performance and privacy protection levels, i.e., a better convergence performance leads to a lower protection level; 2) Given a fixed privacy protection level, increasing the number $N$ of overall clients participating in FL can improve the convergence performance; 3) There is an optimal number of maximum aggregation times (communication rounds) in terms of convergence performance for a given protection level. Furthermore, we propose a $K$-random scheduling strategy, where $K$ ($1<K<N$) clients are randomly selected from the $N$ overall clients to participate in each aggregation. We also develop the corresponding convergence bound of the loss function in this case and the $K$-random scheduling strategy can also retain the above three properties. Moreover, we find that there is an optimal $K$ that achieves the best convergence performance at a fixed privacy level. Evaluations demonstrate that our theoretical results are consistent with simulations, thereby facilitating the designs on various privacy-preserving FL algorithms with different tradeoff requirements on convergence performance and privacy levels.

研究の動機と目的

• フェデレーテッドラーニングにおける情報漏洩を是正するため、形式的な差分プライバシー保証を有するプライバシー保護フレームワークを導入すること。
• フェデレーテッドラーニングにおけるモデル収束パフォーマンスとプライバシー保護水準のトレードオフを分析すること。
• 固定されたプライバシー制約下で収束を最大化するための、クライアント参加と通信ラウンドの最適設定を同定すること。
• プライバシーと収束特性を維持しながら、実用的展開の柔軟性を向上させるKランダムスケジューリング戦略の開発と分析を行うこと。

提案手法

• クライアント側でモデルパラメータに人工ノイズを追加することで差分プライバシーを確保する、新しいFLフレームワークであるNbAFLを提案する。
• NbAFLにおける損失関数の理論的収束バウンドを導出し、プライバシーと収束パフォーマンスのトレードオフを示す。
• Kランダムスケジューリング戦略を導入し、通信ラウンドごとにN体のクライアントのうちK体をランダムに選択することで、スケーラビリティとプライバシーを向上させる。
• Kランダムスケジューリング変種の理論的収束バウンドを確立し、全クライアントNbAFLと同等の主要特性を保持することを示す。
• 人工ノイズの分散を適応的に調整することで、異なる差分プライバシー水準を達成し、DP保証を通じて形式化する。
• N（全クライアント数）、K（選択クライアント数）、通信ラウンド数が収束とプライバシーに与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 差分プライバシーをフェデレーテッドラーニングに効果的に統合する方法は何か？ ただし、モデル収束が損なわれてはならない。
• RQ2 差分プライバシーを適用したフェデレーテッドラーニングにおける、プライバシー保護水準と収束パフォーマンスのトレードオフは何か？
• RQ3 固定されたプライバシー予算下で、参加クライアント数（N）が収束パフォーマンスに与える影響は何か？
• RQ4 与えられたプライバシー水準に対して、収束パフォーマンスを最大化する最適な通信ラウンド数は存在するか？
• RQ5 固定されたプライバシー水準下で、最良の収束パフォーマンスを達成するKランダムスケジューリングの最適なK値は何か？

主な発見

• NbAFLは、クライアント側で追加される人工ノイズの分散を丁寧にキャリブレーションすることで、差分プライバシーを満たす。
• 収束パフォーマンスとプライバシー保護水準の間にトレードオフが存在する：高いプライバシー水準は収束を劣化させ、逆もまた然りである。
• 固定されたプライバシー水準下で、全クライアント数（N）を増やすことで収束パフォーマンスが向上する。
• 与えられたプライバシー水準に対して、収束パフォーマンスを最大化する最適な通信ラウンド数が存在する。
• Kランダムスケジューリング戦略はNbAFLの3つの主要特性を保持しており、固定されたプライバシー水準下で最良の収束を達成する最適なK値を同定する。
• シミュレーション結果は、理論的収束バウンドが実測パフォーマンスとよく一致しており、理論的分析の妥当性を裏付けている。