[論文レビュー] On Convergence of Federated Averaging Langevin Dynamics

Wei Deng, Qian Zhang+3 more|arXiv (Cornell University)|Dec 9, 2021

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、局所的な確率的勾配ラングヴィンダイナミクス（SGLD）とグローバルモデルの平均化を組み合わせることで、フェデレーテッドラーニングにおける事後分布推論のための新規アルゴリズムであるFederated Averaging Langevin Dynamics（FA-LD）を提案する。非独立同分布（non-i.i.d.）データ下での強い対数凸性を持つ事後分布に対して、非漸近的収束解析を初めて提供し、注入されたノイズがあっても通信効率を維持でき、最適な局所更新スケジューリングが可能であることを示している。また、ノイズ相関を調整可能にすることで微分プライバシーの保証も可能である。

ABSTRACT

We propose a federated averaging Langevin algorithm (FA-LD) for uncertainty quantification and mean predictions with distributed clients. In particular, we generalize beyond normal posterior distributions and consider a general class of models. We develop theoretical guarantees for FA-LD for strongly log-concave distributions with non-i.i.d data and study how the injected noise and the stochastic-gradient noise, the heterogeneity of data, and the varying learning rates affect the convergence. Such an analysis sheds light on the optimal choice of local updates to minimize communication costs. Important to our approach is that the communication efficiency does not deteriorate with the injected noise in the Langevin algorithms. In addition, we examine in our FA-LD algorithm both independent and correlated noise used over different clients. We observe there is a trade-off between the pairs among communication, accuracy, and data privacy. As local devices may become inactive in federated networks, we also show convergence results based on different averaging schemes where only partial device updates are available. In such a case, we discover an additional bias that does not decay to zero.

研究の動機と目的

• 凸最適化を超えるサンプリングベースのフェデレーテッドラーニングアルゴリズムにおける理論的収束保証の欠如に対処する。
• ラングヴィンダイナミクスによる事後分布サンプリングを可能にすることで、フェデレーテッドラーニングにおける最適化と不確実性の定量化を統合する。
• 注入ノイズ、データ非同一性、確率的勾配ノイズ、変動する学習率が非i.i.d.環境下での収束に与える影響を分析する。
• 通信コストを最小限に抑えつつ精度を維持するための最適な局所更新回数について理論的指針を提供する。
• ノイズ相関の調整と部分的デバイス参加を可能にすることで、プライバシーと耐性を確保する。

提案手法

• 局所SGLD更新とグローバルモデル平均化を組み合わせたハイブリッドアルゴリズムとして、Federated Averaging Langevin Dynamics（FA-LD）を提案する。
• 非i.i.d.クライアントデータ下での強い対数凸性を持つ事後分布に対して、FA-LDの非漸近的収束解析を導入する。
• 問題の条件数に依存する同期周波数に基づき、グローバル事後分布を局所事後分布サンプルの集約としてモデル化する。
• 注入ノイズと確率的勾配ノイズが収束に与える影響を分析し、これらが収束ダイナミクスの主要因であることを示す。
• 通信効率、精度、データプライバシーのトレードオフを可能にする2種類のノイズ注入方式（i.i.d.および相関型）を設計する。
• ノイズキャリブレーションを介して微分プライバシーの保証を統合し、両方式下での$(\tilde{\rho}_K, \tilde{\rho}_{K,T})$-微分プライバシーに対する明示的バウンドを提示する。

実験結果

リサーチクエスチョン

• RQ1 非i.i.d.データ下で強い対数凸性を持つ事後分布に対して、フェデレーテッドサンプリングアルゴリズムが非漸近的収束保証を達成できるか？
• RQ2 注入ノイズ、データ非同一性、確率的勾配ノイズが、フェデレーテッド事後分布サンプリングの収束にどのように共同で影響を与えるか？
• RQ3 通信コストを最小限に抑えつつ収束性と精度を維持するための最適な局所更新回数は何か？
• RQ4 部分的デバイス参加をモデル化する場合、収束性が劣化することなく、どのような追加バイアスが生じるか？
• RQ5 FA-LDで独立または相関ノイズを使用する場合、通信効率、モデル精度、データプライバシーの間のトレードオフは何か？

主な発見

• FA-LDは、非i.i.d.データおよび変動する学習率下でも、強い対数凸性の仮定のもとでグローバル事後分布への非漸近的収束を達成する。
• 注入ノイズがあってもFA-LDでは通信効率が損なわれない。これは、標準的なSGLDとは異なり、大規模フェデレーテッドシステムに適している。
• 最適な局所更新回数は問題の条件数に依存し、適応的スケジューリングにより通信コストの最小化が可能である。
• 部分的デバイス参加の下では、収束がゼロに収束しない追加バイアスが生じる。これは、遅延端末に強い設定における根本的な制限を示している。
• 独立および相関ノイズ方式の両方で微分プライバシーが保たれ、明示的バウンドにより$\tilde{\rho}_{K,T} = O\big(\frac{S\triangle_l}{N}\big)\times\text{ }\tau, \rho, \text{ および } \theta\text{ を含む項}$であることが示された。
• 低ノイズ領域（$\theta \to 0$）では、プライバシー予算が$O\big(\frac{S\triangle_l}{N}\big)\times\text{対数的項}$のスケーリングを示し、プライバシーと精度のトレードオフが明らかになった。