[論文レビュー] Decentralized Stochastic Gradient Langevin Dynamics and Hamiltonian Monte Carlo

Mert Gürbüzbalaban, Xuefeng Gao+2 more|arXiv (Cornell University)|Jul 1, 2020

Markov Chains and Monte Carlo Methods参考文献 104被引用数 16

ひとこと要約

本稿では、分散型ネットワークにおけるスケーラブルなベイズ推論を可能にする、分散型確率的勾配ランジュバン動力学（DE-SGLD）および分散型確率的勾配ハミルトニアンモンテカルロ（DE-SGHMC）を提案する。エージェントは生データを共有せずに協調的にモデルパラメータを学習する。事後分布の強い対数凸性および滑らかさの下で、適切なパrameter選択のもと、2 Wasserstein距離において目的分布の近傍へ線形収束を達成する。

ABSTRACT

Stochastic gradient Langevin dynamics (SGLD) and stochastic gradient Hamiltonian Monte Carlo (SGHMC) are two popular Markov Chain Monte Carlo (MCMC) algorithms for Bayesian inference that can scale to large datasets, allowing to sample from the posterior distribution of the parameters of a statistical model given the input data and the prior distribution over the model parameters. However, these algorithms do not apply to the decentralized learning setting, when a network of agents are working collaboratively to learn the parameters of a statistical model without sharing their individual data due to privacy reasons or communication constraints. We study two algorithms: Decentralized SGLD (DE-SGLD) and Decentralized SGHMC (DE-SGHMC) which are adaptations of SGLD and SGHMC methods that allow scaleable Bayesian inference in the decentralized setting for large datasets. We show that when the posterior distribution is strongly log-concave and smooth, the iterates of these algorithms converge linearly to a neighborhood of the target distribution in the 2-Wasserstein distance if their parameters are selected appropriately. We illustrate the efficiency of our algorithms on decentralized Bayesian linear regression and Bayesian logistic regression problems.

研究の動機と目的

• 大規模かつプライバシーが重視されるデータ環境における、分散型ベイズ推論に適したスケーラブルな MCMC 法の欠如に応えること。
• SGLD や SGHMC といった、スケーラブルな MCMC 法を、データがエージェント間で分散され、共有されない分散型ネットワークに拡張すること。
• 事後分布の強い対数凸性および滑らかさの下で、分散型バージョンの理論的収束保証を確立すること。
• プライバシー制約および通信制約のもとで、分散型ベイズ線形回帰およびロジスティック回帰タスクにおける実用的効率性を示すこと。

提案手法

• 重み付き混合行列を用いて、エージェント間ネットワーク上で一貫性に基づく勾配平均化を実行することで、SGLD および SGHMC を分散型設定に適応する。
• 連続時間 SDE の不変測度を離散時間アルゴリズムで保持するために、運動量とノイズ注入を統合する。
• 各エージェントのプライベートなデータサブセットから計算される局所的確率的勾配に加え、近隣エージェント間の平均化を組み合わせて、グローバル勾配を近似する。
• 重み付きネットワークラプラシアンに基づく一貫性メカニズムを用いて、通信グラフ全体でエージェント状態を同期化する。
• 2 Wasserstein 距離における線形収束を証明するために、リャプノフ関数解析を適用する。
• ミニバッチサンプリングと有界データを仮定することで、勾配ノイズの有限分散を保証し、ノイズモーメント条件を満たす。

実験結果

リサーチクエスチョン

• RQ1 SGLD および SGHMC は、分散型ネットワークに効果的に適応可能であり、ベイズ推論の性質を保持できるか？
• RQ2 分散型 SGLD および SGHMC の変種が、どのような条件下で目的事後分布に収束するか？
• RQ3 DE-SGLD および DE-SGHMC の 2 Wasserstein 距離における収束速度は、どのように定式化されるか？
• RQ4 プライバシー制約および通信制約のもとで、実用的タスクにおけるアルゴリズムの性能はいかがなものか？
• RQ5 強い対数凸性および滑らかさの下で、理論的収束保証を確立できるか？

主な発見

• DE-SGLD および DE-SGHMC は、強い対数凸性および滑らかさの下で、2 Wasserstein 距離において目的事後分布の近傍へ線形収束を達成する。
• 収束速度は、ステップサイズ、ネットワークの接続性、および問題の条件数に依存する収縮係数によって支配される。
• 適切なパrameter選択のもと、有限の2階モーメントバインディングが維持され、安定性が保証される。
• データがミニバッチでサンプリングされたり、有界なサポートを有する場合、勾配ノイズの分散は一様に有界であり、重要な技術的仮定を満たす。
• 理論的枠組みは、SGLD および SGHMC の両者に一様に適用可能であり、分散型サンプリングにおける運動量とノイズの統一的分析を可能にする。
• 実験結果は、分散型ベイズ線形回帰およびロジスティック回帰タスクにおける効率性を確認しており、実用的スケーラビリティと精度を示している。