[論文レビュー] Analysis of Langevin Monte Carlo via convex optimization

Alain Durmus, Szymon Majewski+1 more|arXiv (Cornell University)|Feb 26, 2018

Markov Chains and Monte Carlo Methods参考文献 40被引用数 21

ひとこと要約

本稿は、凸最適化技術を用いて、非漸近的サンプリング誤差バウンドを導出することにより、Unadjusted Langevin Algorithm (ULA) を2次 Wasserstein 空間上の一次最適化手法として再解釈する。対象分布が対数凸かつ滑らかである場合、Kullback-Leibler 発散、全変動距離、Wasserstein 距離における収束レートを確立する。さらに、Stochastic Gradient Langevin Dynamics (SGLD) を一般化する2つの新しいアルゴリズムを提案することで、非滑らか分布に対してもフレームワークを拡張する。

ABSTRACT

In this paper, we provide new insights on the Unadjusted Langevin Algorithm. We show that this method can be formulated as a first order optimization algorithm of an objective functional defined on the Wasserstein space of order $2$. Using this interpretation and techniques borrowed from convex optimization, we give a non-asymptotic analysis of this method to sample from logconcave smooth target distribution on $\mathbb{R}^d$. Based on this interpretation, we propose two new methods for sampling from a non-smooth target distribution, which we analyze as well. Besides, these new algorithms are natural extensions of the Stochastic Gradient Langevin Dynamics (SGLD) algorithm, which is a popular extension of the Unadjusted Langevin Algorithm. Similar to SGLD, they only rely on approximations of the gradient of the target log density and can be used for large-scale Bayesian inference.

研究の動機と目的

• 凸最適化ツールを用いて、Unadjusted Langevin Algorithm (ULA) の非漸近的解析を提供すること。
• ULA を、ターゲット分布に関連する汎関数を最小化する2次 Wasserstein 空間上の一次最適化アルゴリズムとして解釈すること。
• Stochastic Gradient Langevin Dynamics (SGLD) を非滑らか対象分布に一般化する2つの新しいサンプリングアルゴリズムを提案することで、フレームワークを非滑らか分布に拡張すること。
• Kullback-Leibler 発散、全変動距離、Wasserstein 距離の観点から、サンプリング誤差に対する明示的かつ計算可能なバウンドを導出すること。
• 凸および強凸ポテンシャル下で、ε-精度を達成するための計算複雑度バウンドを確立すること。

提案手法

• ULA を2次 Wasserstein 空間における勾配フローとして定式化し、ターゲット分布 π を汎関数 F の最小化子として解釈する。
• 凸最適化からの収束解析技術を適用し、アルゴリズムの出力とターゲット π 間の Kullback-Leibler 発散に対するバウンドを導出する。
• 過減衰ランジュバン SDE の Euler-Maruyama 離散化をコアとなるサンプリングメカニズムとして用い、定数または非増加のステップサイズを採用する。
• プロキシマル作用素と確率的勾配を組み合わせることで、非滑らか対象分布のための2つの新しいアルゴリズムを導入し、SGLD を非滑らか設定に拡張する。
• 安定性および収束の解析に、プロキシマル作用素、非拡大性、分散制御などのツールを用いる。
• Wasserstein 距離に対する再帰的不等式を導出し、帰納法を用いて最小化子への期待二乗距離をバウンドすることで、明示的な収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 Unadjusted Langevin Algorithm は、2次 Wasserstein 空間上での一次最適化手法として再解釈可能か？
• RQ2 Kullback-Leibler 発散、全変動距離、Wasserstein 距離の観点から、ULA の非漸近的収束バウンドはどのように導出可能か？
• RQ3 SGLD は、収束保証を維持したまま、非滑らか対象分布にどのように拡張可能か？
• RQ4 凸および強凸ポテンシャル下で、ULA の計算複雑度は、ε-精度を達成するためにどの程度か？
• RQ5 勾配の近似誤差は、アルゴリズムの収束にどのように影響し、それらはバウンド可能か？

主な発見

• 強凸かつ勾配-Lipschitzポテンシャルの下で、本稿は [18]、[16]、[10] の既知の結果を明示的かつ非漸近的なバウンドで回復する。
• 凸性とウォームスタートの下で、ULA の複雑度は Kullback-Leibler 発散で O(dε⁻²)、全変動距離で O(dε⁻⁴) となり、ε-精度を達成する。
• ポテンシャル U の最小化子から出発する場合、KL 発散で O(dε⁻²)、全変動距離で O(dε⁻³) に改善され、表3に示す。
• 非滑らか対象分布のための提案アルゴリズムは、SGLD の自然な拡張であり、勾配近似のみに依存し、大規模ベイズ推論に適している。
• 再帰的不等式と帰納法を用いて、Wasserstein 距離に対する明示的バウンドを導出する。その際、勾配近似の分散および2次モーメントを含む項が登場する。
• 解析により、誤差が制御されたレートで蓄積されることを示し、バウンドは計算可能であり、実用的実装に適用可能である。