[论文解读] Improved Discretization Analysis for Underdamped Langevin Monte Carlo

Matthew Zhang, Sinho Chewi+3 more|arXiv (Cornell University)|Feb 16, 2023

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本文提出了一种基于 Girsanov 的新型离散化分析方法，用于非阻尼 Langevin 蒙特卡洛（ULMC），在更弱的假设条件下（如 Poincaré 不等式和弱光滑势函数）实现了改进的采样保证，无需依赖利普希茨连续的 Hessian 矩阵或强对数凹性。该方法在维度相关迭代复杂度方面达到当前最优水平，并首次在这些设定下提供了 KL 散度和 Rényi 散度的保证，同时改善了条件数依赖关系，并通过连续时间 PDE 加速方法的平移，首次实现了离散时间下的类加速结果。

ABSTRACT

Underdamped Langevin Monte Carlo (ULMC) is an algorithm used to sample from unnormalized densities by leveraging the momentum of a particle moving in a potential well. We provide a novel analysis of ULMC, motivated by two central questions: (1) Can we obtain improved sampling guarantees beyond strong log-concavity? (2) Can we achieve acceleration for sampling? For (1), prior results for ULMC only hold under a log-Sobolev inequality together with a restrictive Hessian smoothness condition. Here, we relax these assumptions by removing the Hessian smoothness condition and by considering distributions satisfying a Poincaré inequality. Our analysis achieves the state of art dimension dependence, and is also flexible enough to handle weakly smooth potentials. As a byproduct, we also obtain the first KL divergence guarantees for ULMC without Hessian smoothness under strong log-concavity, which is based on a new result on the log-Sobolev constant along the underdamped Langevin diffusion. For (2), the recent breakthrough of Cao, Lu, and Wang (2020) established the first accelerated result for sampling in continuous time via PDE methods. Our discretization analysis translates their result into an algorithmic guarantee, which indeed enjoys better condition number dependence than prior works on ULMC, although we leave open the question of full acceleration in discrete time. Both (1) and (2) necessitate Rényi discretization bounds, which are more challenging than the typically used Wasserstein coupling arguments. We address this using a flexible discretization analysis based on Girsanov's theorem that easily extends to more general settings.

研究动机与目标

• 通过放宽对 Hessian 平滑性和对数索伯列夫假设的严格限制，将 ULMC 的采样保证扩展至强对数凹分布之外。
• 在更弱的函数不等式条件下，改进 ULMC 在采样复杂度中对维度和条件数的依赖关系。
• 通过一种新型离散化框架，将连续时间加速采样结果转化为离散时间算法保证。
• 在 Poincaré 和对数索伯列夫条件下，首次建立无利普希茨 Hessian 的 ULMC 的 Rényi 散度和 KL 散度边界。
• 开发一种基于 Girsanov 定理的灵活离散化分析框架，可推广至弱光滑势函数和非对数凹势函数。

提出的方法

• 提出一种基于 Girsanov 的新型 ULMC 离散化界，利用测度变换技术控制连续过程与离散过程之间的差异。
• 通过变换后的 Fokker-Planck 方程和引理 5 中的费雪信息衰减，控制 SDE 的律与其离散化之间的 Rényi 散度。
• 通过矩阵 $\mathcal{M}$ 的度量变换，解耦位置与速度分量，从而实现对得分函数差异的更紧密控制。
• 应用关于非阻尼 Langevin 扩散路径上对数索伯列夫常数的新结果，在无需 Hessian 利普希茨性条件下，推导出强对数凹性下的 KL 散度保证。
• 通过 Rényi 离散化界和时间重标定方法，将 Cao 等人（2020）的连续时间加速结果转化为离散时间保证。
• 采用基于 Girsanov 定理的灵活框架，可扩展至弱光滑势函数（Hölder 连续梯度）和一般函数不等式（如 Poincaré 不等式）。

实验结果

研究问题

• RQ1 在不依赖 Hessian 平滑性的情况下，ULMC 是否可在 Poincaré 不等式下实现采样保证？
• RQ2 ULMC 是否可在迭代复杂度中实现优于以往工作的维度和条件数依赖关系？
• RQ3 Cao 等人（2020）的连续时间加速结果能否被离散化，从而生成具有加速收敛特性的离散时间算法？
• RQ4 能否在一般假设下建立 ULMC 的 Rényi 散度边界，从而提供强于 Wasserstein 距离的收敛度量？
• RQ5 该分析能否扩展至弱光滑势函数，以反映高维分布中更真实的光滑性？

主要发现

• 在强对数凹性和对数光滑性下，实现了 $\widetilde{\mathcal{O}}(\kappa^{3/2}d^{1/2}\epsilon^{-1})$ 的迭代复杂度，用于 $\epsilon^2$-KL 散度，且无需利普希茨 Hessian 条件。
• 在对数索伯列夫不等式和 $L$-光滑势函数下，实现了 $\widetilde{\mathcal{O}}(C_{\mathsf{LSI}}^{3/2}L^{3/2}d^{1/2}\epsilon^{-1})$ 的复杂度，用于 $\epsilon$-TV 距离，且无 Hessian 利普希茨假设。
• 首次在 Poincaré 不等式和 $L$-光滑势函数下，为 ULMC 提供了 $\epsilon^2$-Rényi 散度保证，复杂度为 $\widetilde{\mathcal{O}}(C_{\mathsf{PI}}^{3/2}L^{3/2}d^2\epsilon^{-1})$。
• 在对数凹性下，复杂度提升至 $\widetilde{\mathcal{O}}(C_{\mathsf{PI}}Ld^2\epsilon^{-1})$，优于该设定下以往的 LMC 方法。
• 首次在 Poincaré 不等式下，为弱光滑势函数（Hölder 连续梯度，$s \in (0,1]$）建立了 ULMC 的保证，扩展了其在更不规则分布中的适用性。
• 成功将 Cao 等人（2020）的连续时间加速结果转化为离散时间，实现了优于以往 ULMC 方法的条件数依赖关系，尽管完全加速仍为开放问题。