[論文レビュー] Federated Stochastic Primal-dual Learning with Differential Privacy

Yiwei Li, Shuai Wang+2 more|arXiv (Cornell University)|Apr 26, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、局所的確率的勾配降下法と部分的クライアント参加を統合することで通信効率を向上させるとともに、遅延クライアントの影響を軽減する、微分プライバシーを備えた新しいフェデレーテッド確率的プライマル・デュアル学習アルゴリズム、FedSPD-DPを提案する。理論的トレードオフを確立し、局所ステップ数を増やすことで通信効率が向上するが、同時にプライバシー漏洩が増加することを示した。$T$ラウンド後、$(\mathcal{O}(q\epsilon\sqrt{pT}), \delta)$-微分プライバシーを達成し、凸で滑らかでない問題に対して$\mathcal{O}(1/\sqrt{pTQ})$の収束速度を達成した。

ABSTRACT

Federated learning (FL) is a new paradigm that enables many clients to jointly train a machine learning (ML) model under the orchestration of a parameter server while keeping the local data not being exposed to any third party. However, the training of FL is an interactive process between local clients and the parameter server. Such process would cause privacy leakage since adversaries may retrieve sensitive information by analyzing the overheard messages. In this paper, we propose a new federated stochastic primal-dual algorithm with differential privacy (FedSPD-DP). Compared to the existing methods, the proposed FedSPD-DP incorporates local stochastic gradient descent (local SGD) and partial client participation (PCP) for addressing the issues of communication efficiency and straggler effects due to randomly accessed clients. Our analysis shows that the data sampling strategy and PCP can enhance the data privacy whereas the larger number of local SGD steps could increase privacy leakage, revealing a non-trivial tradeoff between algorithm communication efficiency and privacy protection. Specifically, we show that, by guaranteeing $(ε, δ)$-DP for each client per communication round, the proposed algorithm guarantees $(\mathcal{O}(qε\sqrt{p T}), δ)$-DP after $T$ communication rounds while maintaining an $\mathcal{O}(1/\sqrt{pTQ})$ convergence rate for a convex and non-smooth learning problem, where $Q$ is the number of local SGD steps, $p$ is the client sampling probability, $q=\max_{i} q_i/\sqrt{1-q_i}$ and $q_i$ is the data sampling probability of each client under PCP. Experiment results are presented to evaluate the practical performance of the proposed algorithm and comparison with state-of-the-art methods.

研究の動機と目的

• 局所的確率的勾配降下法と部分的クライアント参加を組み合わせることで、フェデレーテッドラーニングにおける通信非効率性と遅延クライアントの影響を軽減すること。
• パラメータサーバーにモデル更新を共有するインタラクティブなトレーニングプロセスにおいて、フェデレーテッドラーニングにおける形式的な微分プライバシー保証を提供すること。
• フェデレーテッド環境下で、通信効率（局所ステップ数とクライアントサンプリング）とプライバシー漏洩の間の理論的トレードオフを分析すること。
• 局所更新と$(\epsilon,\delta)$-微分プライバシーを各通信ラウンドで保証しつつ、収束を維持する確率的プライマル・デュアルフレームワークを構築すること。
• 実験と最先端手法との比較を通じて、提案手法の実用的性能を検証すること。

提案手法

• 通信頻度を低減するために、各ラウンドで$Q$ステップの局所SGDを使用するフェデレーテッド確率的プライマル・デュアルアルゴリズム（FedSPD-DP）を提案する。
• 各ラウンドで確率$p_i$でランダムにクライアントをサンプリングすることで、部分的クライアント参加（PCP）を採用し、通信オーバーヘッドを低減するとともに、遅延クライアントの影響を軽減する。
• 微分プライバシーに基づくノイズ注入機構を導入し、ノイズスケールはプライバシー予算$(\epsilon, \delta)$と局所ステップ数$Q$から導出する。
• プライマル・デュアル最適化フレームワークを用い、デュアル変数を介してクライアント間の整合性制約を強制しながら、グローバル目的関数を同時に最小化する。
• 累積プライバシー損失が$\mathcal{O}(q\epsilon\sqrt{pT})$に比例することを示すプライバシー拡散バウンディングを導出。ここで$q = \max_i q_i / \sqrt{1 - q_i}$。
• 標準的な勾配とデュアル変数のノルムに関する仮定の下で、凸で滑らかでない問題に対して$\mathcal{O}(1/\sqrt{pTQ})$の収束速度を確立。

実験結果

リサーチクエスチョン

• RQ1 局所SGDステップ数$Q$が、フェデレーテッドラーニングにおける通信効率とプライバシー漏洩のトレードオフにどのように影響するか？
• RQ2 部分的クライアント参加（PCP）は、モデルの収束性やプライバシー保証を著しく損なわずに通信効率を向上させることができるか？
• RQ3 局所更新とクライアントサンプリングを用いるフェデレーテッドプライマル・デュアルアルゴリズムの累積微分プライバシー予算は何か？
• RQ4 提案されたFedSPD-DP手法は、通信ラウンドごとに$(\epsilon, \delta)$-微分プライバシーを保証しつつ、どのように収束を維持できるか？
• RQ5 局所確率的更新と部分的クライアント参加を伴う凸で滑らかでない目的関数下での、提案アルゴリズムの理論的収束速度は何か？

主な発見

• 提案されたFedSPD-DPアルゴリズムは、標準的な仮定の下で、凸で滑らかでない最適化問題に対して$\mathcal{O}(1/\sqrt{pTQ})$の収束速度を達成した。
• 通信ラウンド$T$後における累積プライバシー損失は$(\mathcal{O}(q\epsilon\sqrt{pT}), \delta)$で有界であり、ここで$q = \max_i q_i / \sqrt{1 - q_i}$、通信効率とプライバシーの間の非自明なトレードオフを示した。
• 局所SGDステップ数$Q$を増やすことで通信効率が向上するが、同時にプライバシー漏洩が増加するため、設計上根本的なトレードオフが存在することが明らかになった。
• 各ラウンドで$(\epsilon, \delta)$-DPを達成するためのノイズスケールは$\frac{1}{(Q-1)\epsilon}$に比例し、$Q$が増加するにつれてプライバシーの向上効果が次第に小さくなることが示唆された。
• 収束バウンディングはクライアントサンプリング確率$p_i$に依存し、$p_i$が高くなるほど収束速度が向上し、プライバシー損失が低減する。
• 理論的分析により、局所更新とPCPを組み合わせたプライマル・デュアルフレームワークが、勾配とデュアル変数ノルムに関する弱い仮定の下でも、有界な双対ギャップと収束性を維持することが確認された。