[论文解读] HMC and underdamped Langevin united in the unadjusted convex smooth case

Gouraud, Nicolaï, Bris, Pierre Le+2 more|arXiv (Cornell University)|Feb 2, 2022

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本文在广义HMC框架下统一了哈密顿蒙特卡洛（HMC）与欠阻尼朗之万动力学，表明在无调整的凸光滑情形下，通过部分速度重置（非零摩擦）可将收敛速率从 $1/\kappa$ 提升至 $1/\sqrt{\kappa}$。该文建立了随机梯度版本的无维收敛速率，拓展并统一了此前关于带惯性的HMC与朗之万采样器的研究结果。

ABSTRACT

We consider a family of unadjusted generalized HMC samplers, which includes standard position HMC samplers and discretizations of the underdamped Langevin process. A detailed analysis and optimization of the parameters is conducted in the Gaussian case, which shows an improvement from $1/κ$ to $1/\sqrtκ$ for the convergence rate in terms of the condition number $κ$ by using partial velocity refreshment, with respect to classical full refreshments. A similar effect is observed empirically for two related algorithms, namely Metropolis-adjusted gHMC and kinetic piecewise-deterministic Markov processes. Then, a stochastic gradient version of the samplers is considered, for which dimension-free convergence rates are established for log-concave smooth targets over a large range of parameters, gathering in a unified framework previous results on position HMC and underdamped Langevin and extending them to HMC with inertia.

研究动机与目标

• 统一并分析包含标准HMC与欠阻尼朗之万动力学的无调整广义HMC（gHMC）采样器。
• 在高斯情形下优化参数（时间步长 $\delta$、步数 $K$、摩擦系数 $\eta$），以提升收敛速率。
• 将分析扩展至随机梯度版本，为对数凹光滑目标建立无维收敛速率。
• 证明部分速度重置（$\eta > 0$）可使收敛速率从 $1/\kappa$ 提升至 $1/\sqrt{\kappa}$，以条件数 $\kappa$ 表征。

提出的方法

• 提出统一的gHMC框架，采用交替的Verlet积分步骤模拟哈密顿动力学，并引入自回归高斯速度重置机制。
• 使用分裂格式建模动力学：以时间步长 $\delta$ 执行 $K$ 步Verlet积分，随后通过 $v \leftarrow \eta v + \sqrt{1 - \eta^2} G$ 进行速度重置。
• 针对高斯目标，分析 $\mathcal{W}_2$-Wasserstein 距离下的收敛速率，推导出基于 $\kappa$ 与容差 $\varepsilon$ 的最优 $\delta$、$K$ 与 $\eta$。
• 通过耦合论证与压缩估计，为随机梯度版本建立无维收敛速率。
• 将结果应用于马尔可夫链调整的gHMC与动能连续时间马尔可夫过程，验证部分重置带来的实证改进。
• 通过时间步长重标度 $\delta' = \delta \sqrt{L}$ 与条件数 $\kappa = L/m$，统一了对对数凹光滑目标的分析。

实验结果

研究问题

• RQ1 能否通过优化速度重置，构建统一框架以提升HMC与欠阻尼朗之万采样器的收敛速率？
• RQ2 在条件数为 $\kappa$ 的高斯目标下，无调整gHMC采样器的最优 $\delta$、$K$ 与 $\eta$ 是什么？
• RQ3 部分速度重置（$\eta > 0$）是否相比完全重置（$\eta = 0$）在 $\kappa$ 表征下具有更优收敛速率？
• RQ4 能否为带惯性的gHMC随机梯度版本建立无维收敛速率？
• RQ5 在无调整设置下，gHMC的收敛速率与经典HMC及欠阻尼朗之万方法相比如何？

主要发现

• 在高斯情形下，最优参数可实现收敛速率 $\rho \simeq \frac{\delta'(1 + 1/\sqrt{\kappa})}{\pi} \ln\left(\frac{1}{\varepsilon'}\right)$，通过部分重置使收敛速率从 $1/\kappa$ 提升至 $1/\sqrt{\kappa}$。
• 最优时间步长为 $\delta' = \sqrt{8\varepsilon'}$，步数为 $K = \left\lfloor \frac{\pi}{\delta'(1 + 1/\sqrt{\kappa})} \right\rfloor$，且 $\eta = \frac{1 - \sin(\pi/(1 + \sqrt{\kappa}))}{\cos(\pi/(1 + \sqrt{\kappa}))}$。
• 部分速度重置将收敛速率对 $\kappa$ 的依赖关系从 $1/\kappa$ 降低至 $1/\sqrt{\kappa}$，显著提升了病态问题下的性能。
• 对于随机梯度版本，建立了无维收敛速率，其速率与维度 $d$ 无关，前提为对数凹光滑目标。
• 实证结果验证了在马尔可夫链调整gHMC与动能连续时间马尔可夫过程中，部分重置带来的性能提升。
• 该分析统一了此前关于位置HMC与欠阻尼朗之万方法的研究成果，将其拓展至带惯性的HMC与一般参数选择情形。