[论文解读] Logsmooth Gradient Concentration and Tighter Runtimes for Metropolized Hamiltonian Monte Carlo

Yin Tat Lee, Ruoqi Shen+1 more|arXiv (Cornell University)|Feb 10, 2020

Markov Chains and Monte Carlo Methods参考文献 6被引用 9

一句话总结

该论文通过引入对数光滑梯度集中技术，在对数凹采样范式下建立了更紧的 Metropolized HMC 混合时间界限，证明了条件数 $\kappa$ 的线性依赖是必要的，并实现了 $\widetilde{\mathcal{O}}(\kappa d)$ 的运行时间，与最优一阶优化复杂度相匹配，填补了采样算法理论理解中的空白。

ABSTRACT

We show that the gradient norm $\| abla f(x)\|$ for $x \sim \exp(-f(x))$, where $f$ is strongly convex and smooth, concentrates tightly around its mean. This removes a barrier in the prior state-of-the-art analysis for the well-studied Metropolized Hamiltonian Monte Carlo (HMC) algorithm for sampling from a strongly logconcave distribution. We correspondingly demonstrate that Metropolized HMC mixes in $ ilde{O}(κd)$ iterations, improving upon the $ ilde{O}(κ^{1.5}\sqrt{d} + κd)$ runtime of (Dwivedi et. al. '18, Chen et. al. '19) by a factor $(κ/d)^{1/2}$ when the condition number $κ$ is large. Our mixing time analysis introduces several techniques which to our knowledge have not appeared in the literature and may be of independent interest, including restrictions to a nonconvex set with good conductance behavior, and a new reduction technique for boosting a constant-accuracy total variation guarantee under weak warmness assumptions. This is the first high-accuracy mixing time result for logconcave distributions using only first-order function information which achieves linear dependence on $κ$; we also give evidence that this dependence is likely to be necessary for standard Metropolized first-order methods.

研究动机与目标

• 为解决对数凹设定下采样与优化复杂度之间的理论差距，特别是针对 Metropolized HMC。
• 证明在最坏情况下，Metropolized HMC 的混合时间必须对条件数 $\kappa$ 呈线性依赖。
• 在最小光滑性假设下，对 Metropolized HMC 提供更紧的运行时间分析，无需依赖高阶导数界。
• 通过展示 $\widetilde{\mathcal{O}}(\kappa d)$ 的运行时间与一阶优化的已知下界一致，统一优化与采样中的洞见。
• 证明标准步长在 Metropolized HMC 中当 $\kappa$ 较大时会导致指数级小的接受概率，从而证明 $\kappa$-依赖的必要性。

提出的方法

• 提出一种新颖的技术——'对数光滑梯度集中'，以控制高维对数凹分布中梯度的行为。
• 分析使用单步蛙跳的 Metropolized HMC 算法，利用哈密顿量 $\mathcal{H}(x,v) = \frac{1}{2}\|v\|^2 + f(x)$ 跟踪过渡过程中的能量变化。
• 推导出 Metropolized HMC 单步接受概率的下界，表明当步长 $\eta = c\kappa^{-1/2}$ 且 $c > 40$ 时，接受概率随 $c^6 d$ 指数衰减，前提为最坏情况下的二次势能。
• 利用卡方分布的尾部界来控制高维中 $x$ 和 $v$ 的典型大小，从而支持概率集中论证。
• 将离散的 Metropolized HMC 通过约化映射到连续时间的理想 HMC 模型，利用先前工作中已知的松弛时间界。
• 结合接受概率下界与几何论证，证明为实现混合，至少需要 $\Omega(\kappa)$ 步，从而证明 $\kappa$-依赖的必要性。

实验结果

研究问题

• RQ1 Metropolized HMC 的混合时间中 $\kappa$-依赖是否为必要？能否如优化中那样改进为 $\sqrt{\kappa}$？
• RQ2 在最坏初始条件下，Metropolized HMC 的接受概率能否有下界？还是其随维度指数衰减？
• RQ3 标准步长 $\eta = \Theta(\kappa^{-1/2})$ 是否因高维二次目标下接受率过低而导致混合性能差？
• RQ4 Metropolized HMC 的混合时间能否被界定为 $\widetilde{\mathcal{O}}(\kappa d)$，以匹配一阶优化中的已知复杂度？
• RQ5 在对数凹范式中，采样与优化复杂度之间是否存在根本性差距？若存在，能否通过 Metropolized HMC 框架加以证明？

主要发现

• Metropolized HMC 的混合时间被界定为 $\widetilde{\mathcal{O}}(\kappa d)$，与一阶优化中的最佳已知复杂度一致。
• 建立了下界，表明当 $\eta = c\kappa^{-1/2}$ 且 $c > 40$ 时，Metropolized HMC 单步的接受概率最多为 $\exp(-\Omega(c^6 d))$，意味着收敛至少需要 $\Omega(\kappa)$ 步。
• 论文证明了混合时间中 $\kappa$-依赖是必要的，解决了采样与优化复杂度之间长期存在的开放问题。
• 对于条件数为 $\kappa$ 的最坏情况二次势能，步长 $\eta = O(\kappa^{-1/2})$ 的理想 HMC 的松弛时间为 $\Omega(\kappa)$，证实了 $\kappa$-缩放的必要性。
• 对数光滑梯度集中技术使得在高维中更紧密地控制梯度波动成为可能，从而推导出能量变化的维度相关界。
• 分析表明，当 $\kappa$ 较大时，Metropolized HMC 中的标准步长会导致高维中接受概率指数级变小，从而证明了 $\kappa$-依赖运行时间的必要性。