[论文解读] Rapid Convergence of the Unadjusted Langevin Algorithm: Isoperimetry Suffices

Santosh Vempala, Andre Wibisono|arXiv (Cornell University)|Mar 20, 2019

Markov Chains and Monte Carlo Methods被引用 38

一句话总结

本文在对数-索博列夫不等式和庞埃雷不等式下，证明未修正朗礼夫算法（ULA）在不需要凸性的条件下的快速收敛性保证，并分析KL散度和Rényi散度的收敛性以及ULA有偏极限的偏差。

ABSTRACT

We study the Unadjusted Langevin Algorithm (ULA) for sampling from a probability distribution $ν= e^{-f}$ on $\mathbb{R}^n$. We prove a convergence guarantee in Kullback-Leibler (KL) divergence assuming $ν$ satisfies a log-Sobolev inequality and the Hessian of $f$ is bounded. Notably, we do not assume convexity or bounds on higher derivatives. We also prove convergence guarantees in Rényi divergence of order $q > 1$ assuming the limit of ULA satisfies either the log-Sobolev or Poincaré inequality. We also prove a bound on the bias of the limiting distribution of ULA assuming third-order smoothness of $f$, without requiring isoperimetry.

研究动机与目标

• 在等距性条件（LSI 或 Poincaré）下，利用 ULA 从非对数-凹分布中实现快速采样的动机。
• 当目标分布满足 LSI 且光滑时，建立沿 ULA 的 KL 散度的指数收敛性。
• 将收敛性分析拓展到阶数 q>1 的 Rényi 散度，对连续 Langevin 动力学和离散时间 ULA 同时适用。
• 刻画 ULA 的有偏极限分布 ν_η，并在光滑性假设下给出偏差界。
• 将收敛速率与步长 η 及问题常数（LSI/ Poincaré 常数、光滑度）联系起来。

提出的方法

• 在带有 L-光滑目标的 LSI 下，分析 Langevin 动力学与 ULA 的 KL 散度；推导一步 KL 减小界 H_ν(ρ_{k+1}) ≤ e^{−αη}H_ν(ρ_k) + 6η^2 n L^2。
• 在 LSI 下证明 Langevin 动力学中的 KL 散度呈指数衰减：H_ν(ρ_t) ≤ e^{−2αt}H_ν(ρ_0)。
• 为 q>1 建立 Rényi 散度框架，包括分解引理与偏差考量；在 LSI 下证明连续时间下的指数衰减 R_{q,ν}(ρ_t) ≤ e^{−2αt/q}R_{q,ν}(ρ_0)。
• 证明沿 ULA 的 Rényi 散度收敛到有偏极限 ν_η，当 ν_η 满足 LSI 或 Poincaré 时；推导結合偏差的界，得到对 ν 的收敛。
• 在三阶光滑性条件下给出 ν_η 的偏差界，以及在 ν 光滑且强对数凹时 ν_η 继承 LSI 的条件。
• 将结果与欠阻尼 Langevin 与 MALA 进行比较，并讨论迭代复杂度以及对维数和 δ 的依赖。

实验结果

研究问题

• RQ1 在没有凸性的情况下，ULA 能否在等距条件下实现对目标 ν 的快速收敛？
• RQ2 对数-索博列夫不等式或庞埃雷不等式是否足以保证 Langevin 动力学和 ULA 的 KL 或 Rényi 散度的指数收敛？
• RQ3 ULA 的有偏极限 ν_η 的性质是什么，如何给出偏差的界并量化它对 η 的依赖？
• RQ4 在 LSI 下，是否可以证明阶数 q>1 的 Rényi 散度沿 ULA 收敛到有偏极限，且偏差如何影响对 ν 的收敛？
• RQ5 步长 η 和光滑性常数 (L) 如何影响 ULA 中 KL 和 Rényi 散度的迭代复杂度和误差界？

主要发现

• 在 LSI 和 L-光滑性下，ULA 在 KL 散度方面收敛，并给出显式界 H_ν(ρ_k) ≤ e^{−αηk}H_ν(ρ_0) + (8η n L^2)/α。
• 当选择 η ≤ α/(4L^2) 时，k 次迭代后的 KL 误差满足 H_ν(ρ_k) ≤ δ，当 k ≥ (1/(αη)) log(2H_ν(ρ_0)/δ)。
• 在连续 Langevin 动力学中，Rényi 散度呈指数衰减：在 LSI 下当 q≥1 时 R_{q,ν}(ρ_t) ≤ e^{−2αt/q}R_{q,ν}(ρ_0)；在 Poincaré 下，衰减为初始线性再指数。
• 沿 ULA， Rényi 散度对有偏极限 ν_η 的收敛在假设1 下呈指数衰减（若 ν_η 满足 β>0 的 LSI）；衰减率为 e^{−β η k/q} 对于 R_{q,ν_η}(ρ_k)。
• 一个分解界显示 R_{q,ν}(ρ_k) ≤ ((q−1/2)/(q−1)) R_{2q,ν_η}(ρ_0) e^{−β η k/(2q)} + R_{2q−1,ν}(ν_η)。
• 偏差界：在三阶光滑性条件下（无等距性假设），有偏极限到 ν 的距离可在相对费舍尔信息中给出界；当 ν 光滑且强对数凹时，ν_η 保留 LSI。