[論文レビュー] Decentralized Langevin Dynamics

Vyacheslav Kungurtsev|arXiv (Cornell University)|Jan 2, 2020

Markov Chains and Monte Carlo Methods参考文献 11被引用数 6

ひとこと要約

本稿は、局所的なデータを持つエージェントのネットワークにおいて、ピアツーピアのゴッサブロードキャスト通信を用いて事後分布からのサンプリングを行う分散型ランジュバンダイナミクスアルゴリズムを提案する。減衰するステップサイズと強い凸性の仮定の下で、 Wasserstein距離における理論的収束速度 $O(1/k^{1/2})$ および、一貫性への $L^2$ ノルムにおける収束速度 $O(1/k^{1/2-\gamma})$ を確立する。

ABSTRACT

Langevin MCMC gradient optimization is a class of increasingly popular methods for estimating a posterior distribution. This paper addresses the algorithm as applied in a decentralized setting, wherein data is distributed across a network of agents which act to cooperatively solve the problem using peer-to-peer gossip communication. We show, theoretically, results in 1) the time-complexity to $ε$-consensus for the continuous time stochastic differential equation, 2) convergence rate in $L^2$ norm to consensus for the discrete implementation as defined by the Euler-Maruyama discretization and 3) convergence rate in the Wasserstein metric to the optimal stationary distribution for the discretized dynamics.

研究の動機と目的

• 局所的なデータアクセスを持つエージェント間でデータが分散されている分散ネットワークに、ランジュバンMCMCサンプリングを拡張すること。
• ピアツーピア通信と局所的勾配アクセスの下で、分散型ランジュバンダイナミクスの収束特性を分析すること。
• 分散環境における、一貫性時間および目的の事後分布への収束に関する理論的保証を確立すること。
• $L^2$ ノルム（一貫性）および Wasserstein メトリクス（定常分布）の両方における収束速度を定量化すること。

提案手法

• $m$ 個のエージェントからなるネットワークを、無向かつ強連結なグラフとし、双対確率的重み行列 $\mathbf{W}$ を用いて分散システムをモデル化する。
• 連続時間のSDEを提案する：$dX^{(i)}_t = -\sum_{j\in\mathcal{N}_i\cup\{i\}} \mathbf{L}_{ij}X^{(j)}_t dt - \alpha(t)\nabla u_i(X^{(i)}_t) dt + \sqrt{2\sigma\alpha(t)} dB^{(i)}_t$。
• 減衰するステップサイズ $\alpha_k = 1/(1+k)$ を用いて、Euler-MaruyamaスキームによるSDEの離散化を行う。
• 平均プロセス $\bar{X}_k$ を分析し、時間スケール変換と拡散近似を用いて、$U(x)$ の最小値への収束を示す。
• リャプノフ関数と再帰的不等式を用いて、一貫性プロセスと平均プロセス間の $L^2$ 誤差をバウンドする。
• 補題3.1を適用し、ブラウン運動のスケール不変性と逆時間スケール変換を活用して、減衰するステップサイズ下での収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 $L^2$ ノルムにおける分散型ランジュバンダイナミクスの一貫性への収束速度は何か？
• RQ2 離散時間プロセスがWasserstein距離において定常分布にどの程度の速度で収束するか？
• RQ3 連続時間SDEの定式化において、$\epsilon$-一貫性に到達するまでの時間計算量は何か？
• RQ4 局所的勾配の不一致とネットワークトポロジーは、分散サンプリングにおける収束にどのように影響するか？
• RQ5 標準的なランジュエルンMCMCの収束速度は、分散型ピアツーピアネットワーク環境でも保持可能か？

主な発見

• 与えられた仮定の下で、連続時間の分散型ランジュエルンSDEは、$O(\epsilon^{-1})$ の時間で $\epsilon$-一貫性に到達する。
• 離散化実装では、減衰するステップサイズの下で、$L^2$ ノルムにおける一貫性への収束速度が、任意の $\gamma > 0$ に対して $O(1/k^{1/2-\gamma})$ に達する。
• ステップサイズ $h_k = 1/k$ の場合、平均プロセスの経験的分布と目的の事後分布との間のWasserstein距離は $O(k^{-1/2})$ の速度で減少する。
• 定数ステップサイズ $h_k = h$ の場合、Wasserstein誤差は $O(1)$ で有界であり、明示的な定数 $\chi L (h d)^{1/2} / m$ を持つ。ここで $\chi = 7\sqrt{2}/6$ である。
• $L^2$ 誤差の一貫性への収束速度は、ネットワークの2番目に小さい固有値 $\beta = \lambda_2(\mathbf{L})$ を含む再帰的不等式によって支配される。
• 解析により、分散型ランジュエルンダイナミクスは、勾配のリプシッツ連続性と強い凸性に関する緩い仮定の下で、集中型ランジュエルンMCMCの収束特性を継承することが確認された。