[论文解读] Langevin Monte Carlo and JKO splitting

Espen Bernton|arXiv (Cornell University)|Feb 23, 2018

Markov Chains and Monte Carlo Methods参考文献 15被引用 9

一句话总结

本文建立了Langevin Monte Carlo算法、Wasserstein梯度流与算子分裂方法之间的新联系。研究表明，未调整Langevin算法（ULA）的近端版本源于对Fokker–Planck方程应用分裂格式，从而在一般凸势能（包括不可微势能）下，为ULA提供了新的非渐近收敛界。

ABSTRACT

Algorithms based on discretizing Langevin diffusion are popular tools for sampling from high-dimensional distributions. We develop novel connections between such Monte Carlo algorithms, the theory of Wasserstein gradient flow, and the operator splitting approach to solving PDEs. In particular, we show that a proximal version of the Unadjusted Langevin Algorithm corresponds to a scheme that alternates between solving the gradient flows of two specific functionals on the space of probability measures. Using this perspective, we derive some new non-asymptotic results on the convergence properties of this algorithm.

研究动机与目标

• 将基于Langevin的Monte Carlo采样与Wasserstein梯度流及算子分裂理论相连接。
• 在势能光滑性假设最小的条件下，为近端未调整Langevin算法（pULA）提供新的非渐近收敛结果。
• 将收敛性分析推广至非光滑势能，包括带有非光滑正则化项的势能。
• 提供一个统一的理论框架，整合Fokker–Planck动力学、JKO分裂法与采样算法。
• 通过利用最优传输与PDE中已知的分裂格式和变分积分器，提出新的算法设计。

提出的方法

• 将JKO（Jordan-Kinderlehrer-Otto）格式应用于Fokker–Planck方程，将其解释为在2-Wasserstein空间中相对熵的梯度流。
• 使用算子分裂方法将Fokker–Planck动力学分解为两个梯度流：一个用于势能，另一个用于熵。
• 通过时间离散化该分裂格式，推导出近端ULA，其中近端步骤用于处理势能的非光滑部分。
• 依赖度量空间中梯度流理论（Ambrosio et al., 2005）以确保即使在势能不可微时，问题仍具有适定性并能收敛。
• 通过分析时间离散化与分裂带来的累积误差，建立在2-Wasserstein距离下的收敛速率。
• 利用位移凸性和对数Sobolev型不等式，控制梯度流向目标测度的收敛性。

实验结果

研究问题

• RQ1 未调整Langevin算法能否被解释为Fokker–Planck方程的时间离散化算子分裂格式？
• RQ2 近端ULA是否自然地源于Wasserstein空间中Fokker–Planck方程的JKO型分裂？
• RQ3 当势能为凸但不一定可微时，近端ULA的非渐近收敛速率如何？
• RQ4 在类似假设下，pULA的收敛速率与文献中已有结果相比如何？
• RQ5 Wasserstein梯度流与算子分裂的框架能否用于设计具有更优收敛性质的新采样算法？

主要发现

• 证明了近端未调整Langevin算法（pULA）等价于在JKO框架下对Fokker–Planck方程应用时间分裂格式。
• 对于具有Lipschitz连续梯度的强凸势能，pULA在使用 $ n = \Omega(d \varepsilon^{-2} \log(d\varepsilon^{-2})^2) $ 次迭代、步长 $ h = \mathcal{O}(\varepsilon^2 / d) $ 时，可达到 $ \mathcal{O}(\varepsilon) $ 的2-Wasserstein误差，其收敛速率与已知结果一致，仅相差对数因子。
• 当势能包含 $ \ell_1 $ 类正则化项（如 $ g(x) \propto \|x\|_1 $）时，所需迭代次数为 $ n = \Omega(d^2 / \varepsilon^4) $，相较于Grappin（2018）在类似假设下所需的 $ n = \Omega(d^3 / \varepsilon^4) $，实现了改进。
• 该分析适用于非必然可微的凸势能，将ULA收敛结果的适用范围从光滑情形扩展至更一般设置。
• 精确梯度流向目标测度 $ \pi $ 的收敛速率受势能的凸性与位移凸性控制，在强凸性条件下呈现指数收敛。
• 该证明框架可推广至非光滑势能，但若能更充分地利用 $ \lambda $-位移凸性，可获得更紧的界，如局限性部分所指出。