[論文レビュー] Federated Stochastic Gradient Langevin Dynamics

Khaoula El Mekkaoui, Diego Mesquita+2 more|Työväentutkimus Vuosikirja|Apr 23, 2020

Markov Chains and Monte Carlo Methods参考文献 27被引用数 5

ひとこと要約

本稿では、フェデレーテッド非IID設定における事後分布サンプリングを改善するため、局所尤度近似を用いた分散低減機構「適合勾配（conducive gradients）」を導入した、Federated Stochastic Gradient Langevin Dynamics (FSGLD) を提案する。FSGLD は遅延通信下でも真の事後分布に収束し、メトリクス学習およびニューラルネットワークの実験において DSGLD を上回る性能を発揮する、特に非IIDデータにおいて顕著である。

ABSTRACT

Stochastic gradient MCMC methods, such as stochastic gradient Langevin dynamics (SGLD), employ fast but noisy gradient estimates to enable large-scale posterior sampling. Although we can easily extend SGLD to distributed settings, it suffers from two issues when applied to federated non-IID data. First, the variance of these estimates increases significantly. Second, delaying communication causes the Markov chains to diverge from the true posterior even for very simple models. To alleviate both these problems, we propose conducive gradients, a simple mechanism that combines local likelihood approximations to correct gradient updates. Notably, conducive gradients are easy to compute, and since we only calculate the approximations once, they incur negligible overhead. We apply conducive gradients to distributed stochastic gradient Langevin dynamics (DSGLD) and call the resulting method federated stochastic gradient Langevin dynamics (FSGLD). We demonstrate that our approach can handle delayed communication rounds, converging to the target posterior in cases where DSGLD fails. We also show that FSGLD outperforms DSGLD for non-IID federated data with experiments on metric learning and neural networks.

研究の動機と目的

• フェデレーテッド非IID設定における分散SGLD（DSGLD）の収束性の低さと高い分散を是正すること。
• データがクライアント間で分割されており通信が頻繁でない状況において、信頼性の高い事後分布サンプリングを可能にすること。
• 既存の分散SG-MCMC手法と比較して、計算効率を維持しながらサンプリング精度を向上させる手法の開発。
• DSGLD および提案手法 FSGLD の両方の理論的収束バウンドの提供。
• 1回のクライアントあたりの計算で得られる適合勾配が、非IID状況下での分散低減および一般化性能の向上に顕著に寄与することの実証。

提案手法

• 各クライアントの局所尤度近似を組み合わせた、ゼロ平均の確率的関数である「適合勾配」を導入し、勾配更新の補正を実現。
• トレーニング開始前に、クライアントごとに1回だけ局所尤度の代理関数（例：対角多変量正規分布近似）を計算し、計算オーバーヘッドは無視できる程度。
• DSGLDの勾配推定器に適合勾配を追加することで、非IIDデータに起因する分散とバイアスを低減。
• 制御変数の原理を用いてマルコフ連鎖を安定化させ、真の事後分布への収束を改善。
• 完全な勾配やデータを送信するのではなく、局所近似のみを1回送信する通信効率の高いプロトコルを採用。
• DSGLD および FSGLD の両方の収束バウンドを導出。非IID性および遅延通信下での安定性が向上することを示している。

実験結果

リサーチクエスチョン

• RQ1 局所尤度近似に基づく分散低減機構は、フェデレーテッド非IID設定における事後分布サンプリングを改善できるか？
• RQ2 DSGLD が遅延通信やデータの非IID性によって失敗する状況でも、提案手法 FSGLD は真の事後分布に収束するか？
• RQ3 局所尤度近似の選択が、FSGLD の収束性および性能にどのように影響を与えるか？
• RQ4 FSGLD は DSGLD と同等の計算複雑性を維持しながら、顕著にサンプリング精度を向上させられるか？
• RQ5 フェデレーテッド非IIDデータ環境下で、DSGLD および FSGLD の収束に対する理論的保証はどのようなものか？

主な発見

• 非IIDデータにおいて FSGLD は DSGLD を顕著に上回り、MLP 実験では平均テスト尤度が -0.67 ± 0.03 に対し、DSGLD は -1.11 ± 0.312 を記録した。
• 非IIDケースでは、DSGLD は一般化性能が著しく劣り、訓練尤度（-0.44）からテスト尤度（-1.11）に著しい低下を示しており、過学習または収束不良を示唆している。
• FSGLD は複数回の実行において、DSGLD よりも分散が50%以上低減されたサンプリングを達成した。
• DSGLD が失敗する状況（特に遅延通信や高いデータ非IID性下）においても、FSGLD は真の事後分布に収束した。
• 局所尤度近似の計算は1回のみであり、計算複雑性は DSGLD と同等で、追加オーバーヘッドは無視できる。
• FSGLD の収束バウンドの分析から、局所近似の選択（例：指数型分布族近似）がバウンドのタイトさおよびサンプリング効率に直接的な影響を与えることが明らかになった。