[论文解读] Further and stronger analogy between sampling and optimization: Langevin Monte Carlo and gradient descent

Arnak S. Dalalyan|arXiv (Cornell University)|Apr 16, 2017

Gaussian Processes and Bayesian Inference被引用 53

一句话总结

论文加强了采样的 Langevin 蒙特卡洛 (LMC) 与优化中的梯度下降之间的联系，提供改进的 Wasserstein 距离保证并扩展到带噪梯度评估。

ABSTRACT

In this paper, we revisit the recently established theoretical guarantees for the convergence of the Langevin Monte Carlo algorithm of sampling from a smooth and (strongly) log-concave density. We improve the existing results when the convergence is measured in the Wasserstein distance and provide further insights on the very tight relations between, on the one hand, the Langevin Monte Carlo for sampling and, on the other hand, the gradient descent for optimization. Finally, we also establish guarantees for the convergence of a version of the Langevin Monte Carlo algorithm that is based on noisy evaluations of the gradient.

研究动机与目标

• 使用 LMC 与梯度下降来激发并量化采样与优化之间的类比。
• 在强凸性和梯度 Lipschitz 条件下，为 LMC 提供更尖锐的基于 Wasserstein 的收敛保证。
• 将保证扩展到梯度带噪的情形，其中梯度观测带有噪声。
• 讨论与优化收敛的联系以及对非强凸或非光滑情形的潜在扩展。

提出的方法

• 将 Langevin 蒙特卡洛分析为 Langevin 漂移的欧拉离散化，其不变密度与 e^{-f(θ)} 成正比。
• 在步长 h 下导出 Wasserstein 距离界 W2(nuK, pi)，分为区间 h <= 2/(m+M) 与 h >= 2/(m+M)。
• 将新界与先前结果（Durmus & Moulines 2016）进行比较，并给出更尖锐的常数。
• 将分析扩展到带噪梯度评估：观测 Y^{(k,h)} = ∇f(θ) + σ ζ。
• 给出带噪声项的 noisy-LMC 的界：W2(nuK, pi) 以及额外的噪声项。
• 通过对 f_tau 调整温度以计及采样保证，并在 tau -> 0 时证明收敛到 θ*，从而将采样保证与优化联系起来。

实验结果

研究问题

• RQ1 在强凸性和梯度 Lipschitz 条件下，改进的 Wasserstein-2 收敛界与此前结果相比有何差异？
• RQ2 使用带噪梯度评估对 Langevin 蒙特卡洛的收敛有何影响，界随着噪声水平和维数如何缩放？
• RQ3 在考虑目标函数的缩放版本时，LMC 相对于梯度下降的收敛方式如何？

主要发现

• 在 h <= 2/M 时，W2(nuK, pi) 被一个几何衰减项加一个 sqrt(h p) 项所界定。
• 对于 h <= 2/(m+M)，W2(nuK, pi) <= (1 - m h)^K W2(nu0, pi) + 1.82 (M/m) (h p)^{1/2}。
• 对于 h >= 2/(m+M)，W2(nuK, pi) <= (M h - 1)^K W2(nu0, pi) + 1.82 (h p)^{1/2} * (M h)/(2 - M h)^{1/2}。
• 带噪声梯度的 LMC 在界中产生额外的噪声项，显示对梯度估计的鲁棒性，边界中包含 σ^2、M、m、p 和 h。
• 当 tau -> 0 时，界回归优化收敛速率，确立 LMC 结果作为梯度下降向采样的自然扩展。