[論文レビュー] Stochastic Gradient Langevin Dynamics on a Distributed Network.

Vyacheslav Kungurtsev|arXiv (Cornell University)|Jan 2, 2020

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿は、ピアツーピアのゴシップ通信を用いて、分散ネットワーク上で分散型確率的勾配ランジュバン動力学（SGLD）を提案する。これにより、エージェントが協働的に事後分布からのサンプリングを実行できる。連続時間において、$\epsilon$-一致、離散$L^2$-ノルムの一貫性、および目的の分布へのウォサーゲン距離への理論的収束レートを確立する。

ABSTRACT

Langevin MCMC gradient optimization is a class of increasingly popular methods for estimating a posterior distribution. This paper addresses the algorithm as applied in a decentralized setting, wherein data is distributed across a network of agents which act to cooperatively solve the problem using peer-to-peer gossip communication. We show, theoretically, results in 1) the time-complexity to $\epsilon$-consensus for the continuous time stochastic differential equation, 2) convergence rate in $L^2$ norm to consensus for the discrete implementation as defined by the Euler-Maruyama discretization and 3) convergence rate in the Wasserstein metric to the optimal stationary distribution for the discretized dynamics.

研究の動機と目的

• データがエージェント間で分散されている分散ネットワークにおいてベイジアン推論を実行する課題に対処すること。
• 中央集権的な調整者を用いずに、ローカル通信のみを用いて協働的な事後分布サンプリングを可能にすること。
• 分散型ピアツーピア環境におけるSGLDの収束特性を理論的に分析すること。
• 収束速度を複数の指標で確立すること：$\epsilon$-一貫性への到達時間、$L^2$-ノルム誤差、および定常分布へのウォサーゲン距離。

提案手法

• ネットワーク上の分散型SGLDに対して連続時間確率的微分方程式（SDE）を定式化する。
• 実用的用途のための離散時間実装のために、Euler-Maruyama離散化を適用する。
• 隣接エージェント間でローカル勾配およびノイズ項を交換するため、ピアツーピアのゴシップ通信を用いる。
• 各エージェントがローカルデータを用いて事後分布の局所的推定を維持するグラフとしてネットワークをモデル化する。
• ローカル勾配と確率的ノイズを組み合わせる分散型勾配ベースの更新ルールを導入する。
• 収束バウンドを導出するために、確率過程およびマコフ連鎖理論の道具を用いてダイナミクスを分析する。

実験結果

リサーチクエスチョン

• RQ1 連続時間SDE定式化において、$\epsilon$-一貫性に到達するまでの時間複雑度は何か？
• RQ2 離散的Euler-Maruyama実装における$L^2$-ノルムの一致への収束レートは何か？
• RQ3 離散化されたSGLDダイナミクスがウォサーゲン距離において最適な定常分布にどの程度の速度で収束するか？
• RQ4 ネットワークのトポロジーや通信構造は、分散型SGLDの収束速度にどのように影響するか？
• RQ5 ピアツーピア通信下で、分散型SGLDに対する理論的保証を確立できるか？

主な発見

• 連続時間SDEは、ネットワークサイズの対数的スケーリングとグラフのスペクトルギャップの逆数に依存する時間で$\epsilon$-一貫性に到達する。
• 離散的Euler-Maruyama実装は、反復回数$t$に対して$O(1/t)$のレートで$L^2$-ノルムの一貫性に収束する。
• 離散化されたダイナミクスは、ウォサーゲン距離において$O(1/t^{1/2})$のレートで目的の事後分布に収束する。
• 収束レートはネットワーク構造に対してロバストであり、通信グラフの代数的連結度に明示的な依存関係を示す。
• 理論的分析により、分散型SGLDが弱い正則性条件の下で真の事後分布と漸近的に一貫性を保つことが確認された。
• 結果は、分散型SGLDが、保証付きの収束を伴って、一貫性と事後分布サンプリングの両方を達成できることを示している。