[論文レビュー] On stochastic gradient Langevin dynamics with dependent data streams in the logconcave case

Mathias Barkhagen, Nancy H. Chau+4 more|arXiv (Cornell University)|Dec 6, 2018

Markov Chains and Monte Carlo Methods参考文献 31被引用数 5

ひとこと要約

本稿は、正確な勾配が得られないが、非独立なデータストリームから不偏推定が得られる状況下で、対数凸な後方分布からのサンプリングを目的とした確率的勾配ランジュヴィアン・ダイナミクス（SGLD）を分析する。強い凸性およびリプシッツ勾配の仮定の下で、アルゴリズムの分布と目的分布との間の Wasserstein-2 距離に対して明示的な上界を確立し、その定数はポテンシャルの曲率と次元に依存する。

ABSTRACT

We study the problem of sampling from a probability distribution $π$ on $ set^d$ which has a density \wrt\ the Lebesgue measure known up to a normalization factor $x \mapsto me^{-U(x)} / \int_{ set^d} me^{-U(y)} md y$. We analyze a sampling method based on the Euler discretization of the Langevin stochastic differential equations under the assumptions that the potential $U$ is continuously differentiable, $ abla U$ is Lipschitz, and $U$ is strongly concave. We focus on the case where the gradient of the log-density cannot be directly computed but unbiased estimates of the gradient from possibly dependent observations are available. This setting can be seen as a combination of a stochastic approximation (here stochastic gradient) type algorithms with discretized Langevin dynamics. We obtain an upper bound of the Wasserstein-2 distance between the law of the iterates of this algorithm and the target distribution $π$ with constants depending explicitly on the Lipschitz and strong convexity constants of the potential and the dimension of the space. Finally, under weaker assumptions on $U$ and its gradient but in the presence of independent observations, we obtain analogous results in Wasserstein-2 distance.

研究の動機と目的

• ポテンシャル U の正確な勾配が未知である場合に、対数凸なターゲット分布 π からのサンプリングを研究すること。
• i.i.d. 観測ではなく、非独立なデータストリームから得られる勾配推定値を用いた場合の、確率的勾配ランジュヴィアン・ダイナミクス（SGLD）の収束特性を分析すること。
• SGLD反復の分布とターゲット分布 π の間の Wasserstein-2 距離に対する明示的な上界を導出すること。
• データストリームが独立である場合に、U 及びその勾配に関するより弱い仮定の下で、これらの結果を拡張すること。
• 収束速度がポテンシャル U の強い凸性およびリプシッツ定数、および次元 d にどのように依存するかを特定すること。

提案手法

• 過減衰ランジュヴィアン SDE dθt = -∇U(θt)dt + √2 dBt のオイラー＝マルヤメ離散化として、未調整ランジュヴィアン・アルゴリズム（ULA）を定式化する。
• ∇U(θn) を非独立なデータストリーム (Xn) からの不偏推定 H(θn, Xn+1) に置き換えた確率的勾配バージョンを導入する。
• データストリーム (Xn) が厳密に定常的であり、すべての θ に対して E[H(θ, Xn)] = ∇U(θ) を満たすと仮定し、不偏性を保証する。
• 依存過程のためのモーメントバウンドとカップリング論法を用い、混合係数 γr(τ) およびモーメント条件 Mr を活用して、偏った勾配推定による誤差を制御する。
• 連続時間埋め込みにおいてミンコフスキーおよびコーシー＝シュワルツ不等式を適用し、過程の増分のモーメントバウンドを導出する。
• SGLDの分布とターゲット π の間の明示的な Wasserstein-2 距離バウンドを導出し、その定数は強い凸性パrameter、∇U のリプシッツ定数、次元 d に依存する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. サンプルではなく、非独立なデータストリームに基づく勾配推定が用いられる場合、SGLD の収束性能はどの程度劣化するか？
• RQ2 対数凸の仮定の下で、SGLD 反復とターゲット分布 π の間の Wasserstein-2 距離に対する明示的な上界をどのように導出できるか？
• RQ3 ポテンシャル U の強い凸性およびリプシッツ連続性が、非独立勾配を用いた SGLD の収束速度にどのように影響するか？
• RQ4 データストリームが独立である場合、U 及びその勾配に関するより弱い仮定の下で、収束解析を拡張できるか？
• RQ5 混合係数およびモーメント条件が、非独立な勾配推定によって生じる誤差を制御するために果たす役割は何か？

主な発見

• U が連続的に微分可能で、∇U がリプシッツ連続かつ U が強い凸性を満たすという仮定の下で、SGLD 反復とターゲット分布 π の間の Wasserstein-2 距離に対する明示的な上界を導出している。
• そのバウンドは、U の強い凸性定数、∇U のリプシッツ定数、次元 d に明示的に依存しており、主な結果ではデータストリームの混合レートには依存しない。
• 独立な観測のケースでは、U および ∇U に対するより弱い仮定の下で、同様の収束結果が Wasserstein-2 距離において確立されている。
• 分析は、混合係数 γr(τ) およびモーメント条件 Mr を用いた依存過程のモーメントバウンドに依存しており、これらは確率的勾配からのバイアスを制御する。
• 導出されたバウンドは非漸近的であり、有限時間 T に対して成り立ち、ステップサイズ λ および過程のパスワイズ挙動に明示的な依存性を示す。
• ミンコフスキーの不等式による1次元モーメントバウンドの成分ごとの適用により、一般の d 次元問題への結果の拡張が可能である。