[論文レビュー] Sampling from a strongly log-concave distribution with the Unadjusted Langevin Algorithm

Alain Durmus, Éric Moulines|arXiv (Cornell University)|Apr 19, 2016

Markov Chains and Monte Carlo Methods被引用数 20

ひとこと要約

この論文は、高次元における強い対数凸分布からのサンプリングに向けた未調整ランジュバンアルゴリズム（ULA）を分析する。ポテンシャル関数 $U$ に対して強い凸性およびリプシッツ勾配の条件下で、定数ステップサイズおよび減少ステップサイズの両方について、ウォッサーシュタイン距離における非漸近的収束バウンドを確立し、次元に依存しない性能を示し、経験的測度の誤差バウンドを提供する。

ABSTRACT

We consider in this paper the problem of sampling a probability distribution π having a density w.r.t. the Lebesgue measure on $\mathbb{R}^d$, known up to a normalisation factor $x \mapsto \mathrm{e}^{−U (x)} / \int_{\mathbb{R}^d} \mathrm{e}^{−U (y)}\mathrm{d}y$. Under the assumption that $U$ is continuously differentiable, $ abla U$ is globally Lipshitz and $U$ is strongly convex, we obtain non-asymptotic bounds for the convergence to stationarity in Wasserstein distances of the sampling method based on the Euler discretization of the Langevin stochastic differential equation for both constant and decreasing step sizes. The dependence on the dimension of the state space of the obtained bounds is studied to demonstrate the applicability of this method in the high dimensional setting. The convergence of an appropriately weighted empirical measure is also investigated and bounds for the mean square error and exponential deviation inequality for Lipschitz functions are reported. Some numerical results are presented to illustrate our findings.

研究の動機と目的

• 強い対数凸分布からのサンプリングにおける未調整ランジュバンアルゴリズム（ULA）の収束を分析すること。
• 強い凸性およびリプシッツ勾配の仮定の下で、定常分布への収束に関するウォッサーシュタイン距離における非漸近的バウンドを確立すること。
• 収束レートが状態空間の次元にどのように依存するかを研究し、高次元設定への適用可能性を保証すること。
• 重み付き経験的測度の収束を検討し、リプシッツ関数に対する平均二乗誤差および指数的偏差のバウンドを導出すること。

提案手法

• 方法は、ポテンシャル関数 $U$ に駆動されるランジュバンストーク流のオイラー離散化を採用する。
• 関数 $U$ が無限回微分可能で、$\nabla U$ がグローバルにリプシッツ的であり、$U$ が強い凸性を満たすと仮定する。
• 収束解析はウォッサーシュタイン距離を用い、定数ステップサイズおよび減少ステップサイズの両方についてバウンドを導出する。
• 次元依存および次元に依存しないレートの特徴付けを含め、高次元におけるスケーラビリティを評価する。
• 適切な重みを用いた経験的測度が構築され、その収束は平均二乗誤差および指数的偏差不等式を用いて解析される。
• 理論的バウンドは、理論的結果の妥当性を検証するための数値実験によって補完される。

実験結果

リサーチクエスチョン

• RQ1 強い対数凸性の下で、ウォッサーシュタイン距離における未調整ランジュバンアルゴリズム（ULA）の非漸近的収束レートはどのように確立できるか？
• RQ2 高次元でのサンプリングにおいて、収束レートは状態空間の次元にどのように依存するか？
• RQ3 ULAのサンプルから構築された経験的測度の平均二乗誤差に対して、どのような誤差バウンドを導出できるか？
• RQ4 リプシッツ関数に対して、ULAのサンプリング方式下で指数的偏差不等式を確立できるか？
• RQ5 定数ステップサイズと減少ステップサイズの両者は、アルゴリズムの収束行動にどのように影響を与えるか？

主な発見

• 強い凸性およびリプシッツ勾配の条件下で、定数ステップサイズおよび減少ステップサイズの両方について、ウォッサーシュタイン距離における非漸近的収束バウンドが確立された。
• 収束レートは次元に依存せず、ULAが高次元設定においてスケーラブルであることを示した。
• ULAのサンプルから構築された経験的測度は、対数因子を除いて最適な平均二乗誤差バウンドを有する収束を示した。
• リプシッツ関数に対して指数的偏差不等式が導出され、経験的平均の集中を定量的に評価した。
• 数値結果により、理論的収束レートが確認され、アルゴリズムの実用的有効性が検証された。