[论文解读] Simulated Tempering Langevin Monte Carlo II: An Improved Proof using Soft Markov Chain Decomposition

Rong Ge, Holden Lee+1 more|arXiv (Cornell University)|Nov 29, 2018

Markov Chains and Monte Carlo Methods参考文献 53被引用 11

一句话总结

本文通过将Langevin扩散与模拟退火相结合，提出了一种可证明快速的多模态分布采样算法，采用一种新颖的软马尔可夫链分解技术以建立谱间隙。该方法在仅依赖梯度访问的情况下，实现了等方差高斯混合分布的多项式时间混合，即使目标分布非对数凸且多模态亦成立。

ABSTRACT

A key task in Bayesian machine learning is sampling from distributions that are only specified up to a partition function (i.e., constant of proportionality). One prevalent example of this is sampling posteriors in parametric distributions, such as latent-variable generative models. However sampling (even very approximately) can be #P-hard. Classical results going back to Bakry and Émery (1985) on sampling focus on log-concave distributions, and show a natural Markov chain called Langevin diffusion mixes in polynomial time. However, all log-concave distributions are uni-modal, while in practice it is very common for the distribution of interest to have multiple modes. In this case, Langevin diffusion suffers from torpid mixing. We address this problem by combining Langevin diffusion with simulated tempering. The result is a Markov chain that mixes more rapidly by transitioning between different temperatures of the distribution. We analyze this Markov chain for a mixture of (strongly) log-concave distributions of the same shape. In particular, our technique applies to the canonical multi-modal distribution: a mixture of gaussians (of equal variance). Our algorithm efficiently samples from these distributions given only access to the gradient of the log-pdf. For the analysis, we introduce novel techniques for proving spectral gaps based on decomposing the action of the generator of the diffusion. Previous approaches rely on decomposing the state space as a partition of sets, while our approach can be thought of as decomposing the stationary measure as a mixture of distributions (a "soft partition"). Additional materials for the paper can be found at http://holdenlee.github.io/Simulated%20tempering%20Langevin%20Monte%20Carlo.html. The proof and results have been improved and generalized from the precursor at arXiv:1710.02736.

研究动机与目标

• 解决在从多模态、非对数凸分布采样时Langevin蒙特卡洛混合缓慢的问题。
• 为基于温度的采样方法——模拟退火——与Langevin动力学在高维设置下的组合提供理论保证。
• 克服经典Langevin扩散的局限性，后者因模态分离而在多模态分布中出现混合迟缓。
• 仅通过梯度访问对数密度，建立等方差高斯混合分布的快速混合时间。
• 提出一种新的分析框架——软马尔可夫链分解——基于将平稳测度分解为混合形式，而非划分状态空间。

提出的方法

• 引入一种混合马尔可夫过程，通过在不同逆温度参数下交替进行Langevin扩散以逃逸局部模态。
• 采用平稳测度的软分解，将其分解为分量分布（如高斯分布），从而通过测度论分解实现谱间隙分析。
• 使用温度缩放势能的连续时间扩散过程，以促进模态之间的转移。
• 应用扰动容错分析，证明在目标分布的小幅偏离下仍具鲁棒性。
• 利用浓度不等式和强凸性/光滑性假设，推导出不同温度下分区函数比值的界。
• 通过一种新颖的分解定理建立谱间隙，该定理将扩散的生成元与平稳测度的混合结构联系起来。

实验结果

研究问题

• RQ1 模拟退火与Langevin动力学的组合能否在如高斯混合等多模态分布中实现快速混合？
• RQ2 在仅能访问对数密度梯度的前提下，能否证明此类组合算法的多项式混合时间？
• RQ3 谱间隙分析如何超越状态空间划分，以处理具有重叠模态的分布？
• RQ4 模态的几何结构与分离程度需满足何种条件，才能在基于温度的采样中实现快速混合？
• RQ5 该分析能否推广至目标分布的扰动或噪声版本？

主要发现

• 所提出的算法对等方差高斯混合分布实现了多项式混合时间，即使模态之间明显分离亦成立。
• 当温度差选择为 O(1/(K(D² + d/(ακ) + (1/(ακ))ln(1/w_min)))) 时，谱间隙有下界，且该下界为 Ω(1)。
• 软马尔可夫链分解技术相比传统状态空间划分提供了更紧的分析，尤其适用于重叠或复杂多模态分布。
• 该方法对目标分布的扰动具有鲁棒性，且在有界扰动下仍保持混合时间保证。
• 分析表明，在适当的温度间距下，分区函数比值 Z_β / Z_α 有下界 Ω(1)，确保了高效退火所需的足够重叠。
• 该框架可推广至强对数凹混合分布，并在该梯度访问设定下，首次实现了多模态分布的可证明快速混合结果。