[論文レビュー] Sampling from a log-concave distribution with compact support with proximal Langevin Monte Carlo

Nicolas Brosse, Alain Durmus+2 more|arXiv (Cornell University)|May 24, 2017

Markov Chains and Monte Carlo Methods参考文献 28被引用数 20

ひとこと要約

本稿では、凸体 K に制限された対数凹型分布からのサンプリングのための、モアレ・ヨシダ未調整ランジュバンアルゴリズム（MYULA）を導入し、分析する。対象分布を K の指示関数のモアレ・ヨシダ包とすることで正則化することにより、全 Variation 及び Wasserstein-1 距離において明示的な多項式時間複雑度の上限が保証され、高次元における制約付きベイズ推論の理論的保証を確立する。

ABSTRACT

This paper presents a detailed theoretical analysis of the Langevin Monte Carlo sampling algorithm recently introduced in Durmus et al. (Efficient Bayesian computation by proximal Markov chain Monte Carlo: when Langevin meets Moreau, 2016) when applied to log-concave probability distributions that are restricted to a convex body $\mathsf{K}$. This method relies on a regularisation procedure involving the Moreau-Yosida envelope of the indicator function associated with $\mathsf{K}$. Explicit convergence bounds in total variation norm and in Wasserstein distance of order $1$ are established. In particular, we show that the complexity of this algorithm given a first order oracle is polynomial in the dimension of the state space. Finally, some numerical experiments are presented to compare our method with competing MCMC approaches from the literature.

研究の動機と目的

• コンパクトな台を持つ対数凹型分布からのサンプリングのための理論的裏付けのある MCMC 法を提供すること。特に制約付きベイズ推論を想定する。
• 高次元空間における近似ランジュバンモンテカルロ法（MYULA）の収束複雑度を分析すること。
• アルゴリズムの反復と目的分布との間の全 Variation 及び Wasserstein-1 距離に対する明示的な非漸近的バウンドを確立すること。
• アルゴリズムが1階オракルアクセスのもとで次元 d に対して多項式時間複雑度を達成することを示すこと。

提案手法

• 凸体 K の指示関数のモアレ・ヨシダ包を用いて、非滑らかで制約付きの目的分布を正則化し、滑らかで近似可能なプロキシマル近似に変換する。
• 滑らか関数 f と K の指示関数のモアレ・ヨシダ近似を組み合わせた正則化されたポテンシャルに対して、未調整ランジュバンアルゴリズム（ULA）を適用する。
• ステップサイズ γ を用いたオーバードンプド・ランジュバン SDE のオイラー＝マリヤメ離散化により、離散時間マルコフ連鎖を構築する。
• カップリング技法と凸体 K の幾何的性質（直径 R と内接半径 r）を用いて収束バウンドを導出する。
• 主な要素には、モアレ・ヨシダパrameter λ、f のリプシッツ定数 L_f、f の強凸性パrameter m が含まれる。
• 理論的分析では、対数凹型性、勾配のリプシッツ連続性、および K 及びその ε-近傍の体積増加推定を用いる。

実験結果

リサーチクエスチョン

• RQ1 プロキシマル・ランジュバン・モンテカルロ法は、コンパクトな台を持つ対数凹型分布からのサンプリングにおいて多項式時間収束を達成できるか？
• RQ2 アルゴリズムの出力と目的分布との間の全 Variation 及び Wasserstein-1 距離に対する明示的な非漸近的バウンドは何か？
• RQ3 アルゴリズムの複雑度は、状態空間の次元 d に対してどのようにスケーリングされるか？
• RQ4 モアレ・ヨシダ正則化は、非滑らかで制約付きの目的分布に対して収束性と安定性を保証するために果たす役割は何か？
• RQ5 ポテンシャル f および凸体 K に対してどのような条件下で、アルゴリズムは幾何的エルゴード性と高速混合を維持するか？

主な発見

• 標準的な仮定のもとで、O(d log d) 回の反復後に全 Variation 距離が O(1/poly(d)) のオーダーで抑えられる。
• Wasserstein 距離（1次）について明示的な収束バウンドが確立され、反復回数 n に対して距離が幾何的に減少することが示された。
• アルゴリズムの複雑度は次元 d に対して多項式的であり、具体的には Wasserstein-1 距離における ε-精度に到達するには O(d log d) 回の反復で十分である。
• 収束速度は強凸性パrameter m、リプシッツ定数 L_f、および凸体 K の直径 R に依存する。
• モアレ・ヨシダ正則化により、制約付き目的分布の滑らかで良好な近似に対して、標準的な ULA 理論を適用可能にする。
• 数値実験により理論的バウンドが確認され、既存の MCMC 法と比較して競争力のある性能を示した。