[論文レビュー] Federated Learning with Local Differential Privacy: Trade-offs between Privacy, Utility, and Communication

Muah Kim, Onur Günlü+1 more|arXiv (Cornell University)|Feb 9, 2021

Privacy-Preserving Technologies in Data参考文献 19被引用数 4

ひとこと要約

本稿では、ガウスノイズを用いてプライバシー、有用性、通信効率のバランスをとる、局所的微分プライバシー（LDP）を備えたフェデレーテッドラーニングフレームワークを提案する。よりタイトなプライバシー会計のための強化されたモーメンツ会計士を採用し、クエリ感度を可変パラメータとしてモデル化することで、特に強いプライバシー制約下でも、先行手法に比べて顕著に向上した有用性と低減された送信レートを達成する。

ABSTRACT

Federated learning (FL) allows to train a massive amount of data privately due to its decentralized structure. Stochastic gradient descent (SGD) is commonly used for FL due to its good empirical performance, but sensitive user information can still be inferred from weight updates shared during FL iterations. We consider Gaussian mechanisms to preserve local differential privacy (LDP) of user data in the FL model with SGD. The trade-offs between user privacy, global utility, and transmission rate are proved by defining appropriate metrics for FL with LDP. Compared to existing results, the query sensitivity used in LDP is defined as a variable and a tighter privacy accounting method is applied. The proposed utility bound allows heterogeneous parameters over all users. Our bounds characterize how much utility decreases and transmission rate increases if a stronger privacy regime is targeted. Furthermore, given a target privacy level, our results guarantee a significantly larger utility and a smaller transmission rate as compared to existing privacy accounting methods.

研究の動機と目的

• 局所的微分プライバシー（LDP）下でのフェデレーテッドラーニングにおけるプライバシー、有用性、通信コストのトレードオフを解消すること。
• リーマン-DP から DP への最適な変換を活用したモーメンツ会計士を用いて、フェデレーテッドラーニングにおける確率的勾配降下法（SGD）のよりタイトなプライバシー会計手法を開発すること。
• データセットサイズ、サンプリング確率、個々のプライバシー目標といった異種ユーザーのパラメータを考慮する汎用的な有用性指標を導入すること。
• 損失なし通信下でのノイズ付き勾配の微分エントロピーをモデル化することで、送信レートを最小限に抑えること。
• 提案手法が、同等のプライバシー予算下で、既存の LDP-FL 手法に比べて有用性と通信効率の両面で優れていることを実証すること。

提案手法

• フェデレーテッド SGD における局所的微分プライバシー（LDP）を確保するため、局所勾配にガウスノイズを適用する。
• よりタイトなプライバシー会計のため、最適なリーマン-DP から DP への変換を用いた強化されたモーメンツ会計士（MA）を用いる。これにより、プライバシー損失の過大評価が低減される。
• クエリ感度をユーザー間で可変パラメータとして定義し、データサンプリングとプライバシー要件の非均質的モデリングを可能にする。
• ユーザー固有のデータセットサイズ、サンプリング確率、プライバシー水準を考慮した有用性の下限を導出する。
• 送信レートをノイズ付き勾配の微分エントロピーとしてモデル化し、共分散行列の行列式とガウスエントロピーの性質を用いて上限を求める。
• ハダマールの不等式と相加相乗平均の不等式を用いて、勾配共分散行列の行列式を上限付け、エントロピー解析を容易にする。

実験結果

リサーチクエスチョン

• RQ1 ユーザー間で可変なクエリ感度が、LDP-FL における有用性・プライバシー・通信のトレードオフにどのように影響するか？
• RQ2 強化されたモーメンツ会計士によるタイトなプライバシー会計は、LDP-FL における有用性の向上と通信コストの低減を実現できるか？
• RQ3 ユーザーが異なるデータセットサイズ、サンプリング確率、プライバシー目標を持つ場合の、モデル有用性の理論的下限は何か？
• RQ4 LDP-FL におけるノイズ付き勾配の微分エントロピーは、ノイズ分散とモデル次元数の関数としてどのようにスケーリングされるか？
• RQ5 既存の LDP-FL ベースラインと比較して、提案手法はどれほどノイズパワーと送信レートを低減できるか？

主な発見

• 提案手法は、特に強いプライバシー制約下で、既存のプライバシー会計手法に比べて顕著に大きな有用性の下限を達成する。
• より良い共分散行列およびノイズエントロピーのモデリングにより、ノイズ付き勾配の微分エントロピーに対するタイトな上限が得られ、送信レートが低減される。
• 収束速度の下限が $ \mathcal{O}(1/t) $ に比例し、定数因子が $ \max\{2, 1 + d\sigma^2\} $ に依存することを保証する。これは、先行研究の下限を上回る。
• 非均質なユーザーに対しては、有用性の下限が個別に異なるデータセットサイズ、サンプリング確率、プライバシー水準を明示的に組み込み、現実的なシステムモデリングを可能にする。
• 最適な変換を用いた強化されたモーメンツ会計士により、プライバシー損失の過大評価が低減され、同じプライバシー予算下でより高い有用性が達成可能である。
• 数値比較により、必要なノイズパワー、有用性、送信レートの面で、SC、AC1、AC2 に基づく手法に比して優れた性能を示す。