[論文レビュー] Simulated Tempering Langevin Monte Carlo II: An Improved Proof using Soft Markov Chain Decomposition

Rong Ge, Holden Lee+1 more|arXiv (Cornell University)|Nov 29, 2018

Markov Chains and Monte Carlo Methods参考文献 53被引用数 11

ひとこと要約

本稿では、ラングヴィン拡散とシミュレーテッド・テンペレーションを組み合わせることで、スペクトルギャップを確立するために、新しいソフト・マークフ・チェーン分解技術を用いた、多モーダル分布に対する証明可能な高速サンプリングアルゴリズムを提示する。勾配のみのアクセスが与えられる状況下でも、等分散ガウス混合分布に対して多項式時間の混合を達成する。

ABSTRACT

A key task in Bayesian machine learning is sampling from distributions that are only specified up to a partition function (i.e., constant of proportionality). One prevalent example of this is sampling posteriors in parametric distributions, such as latent-variable generative models. However sampling (even very approximately) can be #P-hard. Classical results going back to Bakry and Émery (1985) on sampling focus on log-concave distributions, and show a natural Markov chain called Langevin diffusion mixes in polynomial time. However, all log-concave distributions are uni-modal, while in practice it is very common for the distribution of interest to have multiple modes. In this case, Langevin diffusion suffers from torpid mixing. We address this problem by combining Langevin diffusion with simulated tempering. The result is a Markov chain that mixes more rapidly by transitioning between different temperatures of the distribution. We analyze this Markov chain for a mixture of (strongly) log-concave distributions of the same shape. In particular, our technique applies to the canonical multi-modal distribution: a mixture of gaussians (of equal variance). Our algorithm efficiently samples from these distributions given only access to the gradient of the log-pdf. For the analysis, we introduce novel techniques for proving spectral gaps based on decomposing the action of the generator of the diffusion. Previous approaches rely on decomposing the state space as a partition of sets, while our approach can be thought of as decomposing the stationary measure as a mixture of distributions (a "soft partition"). Additional materials for the paper can be found at http://holdenlee.github.io/Simulated%20tempering%20Langevin%20Monte%20Carlo.html. The proof and results have been improved and generalized from the precursor at arXiv:1710.02736.

研究の動機と目的

• マルチモーダルで非対数凸な分布からのサンプリングにおいて、ラングヴィン・モンテカルロの混合が遅いという課題に対処すること。
• 高次元設定における温度ベースのサンプリング手法（シミュレーテッド・テンペレーション）とラングヴィン・ダイナミクスを組み合わせた理論的保証を提供すること。
• 古典的ラングヴィン拡散の限界、特にモード間の分離によって引き起こされる遅い混合を克服すること。
• 対数密度の勾配アクセスのみを用いて、等分散ガウス混合分布のための高速混合時間の確立。
• 状態空間の分割ではなく、測度の混合として分解することに基づく、新しい解析的枠組み「ソフト・マークフ・チェーン分解」を導入すること。

提案手法

• 異なる逆温度パラメータにおけるラングヴィン拡散を交互に実行するハイブリッド・マークフ過程を導入し、局所的モードからの脱出を可能にする。
• 成分分布（例：ガウス分布）へのソフト分解を用いて、測度論的分解によるスペクトルギャップ解析を可能にする。
• 温度にスケーリングされたポテンシャルを用いた連続時間拡散過程を採用し、モード間の遷移を容易にする。
• 小さな目標分布の摂動に対してもロバストであることを示すために、摂動耐性解析を適用する。
• 濃縮不等式と強い凸性／滑らかさの仮定を用いて、温度間の分配関数比の境界を導出する。
• 拡散の生成子と定常測度の混合構造を関連付ける新しい分解定理を用いて、スペクトルギャップを確立する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーテッド・テンペレーションとラングヴィン・ダイナミクスの組み合わせは、ガウス混合のようなマルチモーダル分布に対しても高速混合を達成できるか？
• RQ2 対数密度の勾配アクセスのみが与えられる状況下で、このようなハイブリッドアルゴリズムの多項式時間の混合を証明できるか？
• RQ3 スペクトルギャップ解析を状態空間の分割を超えて、重複するモードを持つ分布に対しても一般化できるか？
• RQ4 モードの幾何学的性質と分離度にどのような条件が、温度ベースのサンプリングにおける高速混合を保証するか？
• RQ5 解析を、目標分布の摂動版やノイズ付き版へと拡張できるか？

主な発見

• 提案されたアルゴリズムは、モードが明確に分離している場合でも、等分散ガウス混合分布に対して多項式時間の混合を達成する。
• 適切なパラメータのもとで、温度差が O(1/(K(D² + d/(ακ) + (1/(ακ))ln(1/w_min)))) に選ばれる場合、スペクトルギャップは下から Ω(1) に有界である。
• ソフト・マークフ・チェーン分解技術により、重複するモードやマルチモーダル分布に対して、従来の状態空間分割よりもタイトな解析が可能になる。
• 目標分布の摂動に対してロバストであり、有界な摂動のもとでも混合時間の保証が維持される。
• 分配関数比 Z_β / Z_α が適切な温度間隔のもとで Ω(1) に下から有界であることが解析で示され、効率的なテンペレーションのための十分な重複が保証される。
• この枠組みは強い対数凸混合分布へと一般化可能であり、勾配アクセスの設定下でマルチモーダル分布に対して、初めての証明可能な高速混合結果を提供する。